免费开源的AI软件怎么把企业级后端塞进单机包 察元AI三层架构总览

免费开源的AI软件怎么把企业级后端塞进单机包 察元AI三层架构总览

桌面 AI 应用做单机版的方案不少,但绝大多数是把 Web 前端套个 Electron 壳,后端要么在云端,要么外挂本地推理服务。chayuan-desktop 桌面单机版走了不一样的路:把一整套企业级后端打包进了 Tauri 安装包里。这一篇讲清楚这个三层架构是怎么搭的,为什么这么搭。

第一层是前端。Tauri 2 主进程 加 React 19 加 Tailwind。Tauri 主进程负责窗口管理、文件对话框、系统托盘、自动更新等系统集成。React 19 在主进程暴露的 webview 里渲染主界面,包括对话窗口、知识库管理、模型配置、设置页等。Tailwind 做样式,配合主题切换。前端跟后端的所有通信都走 HTTP 或者 SSE,不用 Tauri 的 invoke RPC,原因是后端是独立的 Python 进程而不是 Rust 模块。

第二层是嵌入式 Python sidecar。chayuan-server 是一个完整的 Python 应用,用 FastAPI 做 HTTP 服务,跑在 127.0.0.1:62581。它内部包括模型网关层、检索编排层、知识库管理层、工具调用层、评估治理层。这一整套东西在云端版本里是个独立服务,单机版用 PyInstaller onedir 打包成可执行二进制塞进 Tauri 安装包。Tauri 主进程通过 spawn 子进程的方式拉它起来,注入 CHAYUAN_ROOT 环境变量。

第三层是数据层。SQLite 加 sqlite-vec 是默认选择。SQLite 存对话历史、知识库元数据、用户配置、审计日志,每个 KB 一个数据库文件。sqlite-vec 是 SQLite 扩展,给文本 chunk 提供向量索引,承担本地离线知识库 的核心存储。CHAYUAN_ROOT/data 和 CHAYUAN_ROOT/vectors 是两个核心目录。这一层之外还有外部数据源:业务数据库(结构化)、外部向量库(Milvus、Chroma 等)、办公私库 等,通过 source connector 接进来。

三层之间的通信。前端到 sidecar 走 HTTP,主接口是 /api/v1/* 系列。流式响应走 SSE。文件上传走 multipart/form-data。前端不直接读写 CHAYUAN_ROOT,所有数据访问经过 sidecar 控制。Tauri 主进程到 sidecar 是父子进程关系,Tauri 通过 stdin/stdout 监控 sidecar 的存活,必要时重启。sidecar 到数据层走 SQLAlchemy ORM 加 sqlite-vec 的扩展函数。

为什么不直接 Tauri 加 Rust 后端。这是设计阶段最大的取舍。Rust 后端有几个不方便:一是 AI 生态在 Rust 里不成熟,LangChain、LlamaIndex、各家厂商的 SDK 几乎都是 Python;二是文档解析(PyPDF、python-docx、openpyxl 等)的 Python 库很成熟;三是 ONNX Runtime 在 Python 下用着方便,跨平台;四是 Pydantic v2 这套数据建模在 Python 上做接口契约非常好用。所以 Rust 只用来做外壳,业务逻辑全在 Python。

为什么不直接走云端。chayuan-desktop 的核心价值在 不联外网也能跑。如果业务逻辑在云端,那一切就跟传统的 SaaS 没区别了。把 Python 后端打进单机包,每台电脑都是自己的 AI 服务器,数据完全在自己手里。这是 免费开源的AI软件 在隐私敏感场景里能立足的根本。

为什么用 sqlite-vec 不用 pgvector。Postgres 的 pgvector 性能更强,但需要单独部署 PG 服务,对单机版不友好。sqlite-vec 是嵌入式的,单文件存储,几万到几十万 chunk 的规模够用,启动开销几乎为零。用户场景如果超过 sqlite-vec 上限,自己接外部 Milvus 当外部源,灵活。

未来扩展点在哪里。一是 sidecar 横向扩展。多人协作场景下 sidecar 可以拆出去做共享后端,多个 chayuan-desktop 客户端连同一个后端,共享 KB。二是模型对抗 模块独立化。三是 MCP 协议作为统一外部接入点,把更多第三方工具拉进来。四是离线模型能力增强,包括多模态的本地推理。

WPS AI 插件 chayuan-wps 是这个三层架构之外的第四个使用方。它通过 HTTP 调 sidecar 的 /api/v1/* 接口,跟桌面 webview 走的是同一组接口。这种设计让 chayuan-desktop 的后端能力被任何能讲 HTTP 的客户端复用,加载项只是其中之一。

总览到此。后面 25 篇文章会一篇一篇拆每个细节。

相关推荐
LaughingZhu1 天前
Product Hunt 每日热榜 | 2026-05-12
大数据·人工智能·经验分享·神经网络·产品运营
Resistance丶未来1 天前
从零构建大语言模型:核心原理与实战落地
人工智能·ai·语言模型·自然语言处理·nlp·多模态大模型·ai工具
eastyuxiao1 天前
数字孪生(Digital Twin)从入门到实战教程
大数据·人工智能·数字孪生
皮皮学姐分享-ppx1 天前
上市公司数字技术风险暴露数据(2010-2024)|《经济研究》同款大模型测算
大数据·网络·数据库·人工智能·chatgpt·制造
IT召唤狮1 天前
【bk-CMDB】腾讯开源蓝鲸配置管理平台 — 面向应用的CMDB标杆实现
开源
Jay-r1 天前
ChatGPT 官网入口(2026 年最新版)——简明指南
人工智能·语言模型·chatgpt·ai助手·chatgpt5.5
小星AI1 天前
LangGraph 超详细教程,附源码
人工智能·agent
JavaAgent架构师1 天前
前端AI工程化(一):AI通信协议深度解析
前端·人工智能
_xaboy1 天前
FormCreate 设计器 v6.3 正式发布:AI 表单助理3.0登场!
前端·vue.js·低代码·开源·表单设计器
端平入洛1 天前
大模型 chat 接口的标准消息格式
人工智能