免费开源的AI软件怎么把企业级后端塞进单机包 察元AI三层架构总览

免费开源的AI软件怎么把企业级后端塞进单机包 察元AI三层架构总览

桌面 AI 应用做单机版的方案不少,但绝大多数是把 Web 前端套个 Electron 壳,后端要么在云端,要么外挂本地推理服务。chayuan-desktop 桌面单机版走了不一样的路:把一整套企业级后端打包进了 Tauri 安装包里。这一篇讲清楚这个三层架构是怎么搭的,为什么这么搭。

第一层是前端。Tauri 2 主进程 加 React 19 加 Tailwind。Tauri 主进程负责窗口管理、文件对话框、系统托盘、自动更新等系统集成。React 19 在主进程暴露的 webview 里渲染主界面,包括对话窗口、知识库管理、模型配置、设置页等。Tailwind 做样式,配合主题切换。前端跟后端的所有通信都走 HTTP 或者 SSE,不用 Tauri 的 invoke RPC,原因是后端是独立的 Python 进程而不是 Rust 模块。

第二层是嵌入式 Python sidecar。chayuan-server 是一个完整的 Python 应用,用 FastAPI 做 HTTP 服务,跑在 127.0.0.1:62581。它内部包括模型网关层、检索编排层、知识库管理层、工具调用层、评估治理层。这一整套东西在云端版本里是个独立服务,单机版用 PyInstaller onedir 打包成可执行二进制塞进 Tauri 安装包。Tauri 主进程通过 spawn 子进程的方式拉它起来,注入 CHAYUAN_ROOT 环境变量。

第三层是数据层。SQLite 加 sqlite-vec 是默认选择。SQLite 存对话历史、知识库元数据、用户配置、审计日志,每个 KB 一个数据库文件。sqlite-vec 是 SQLite 扩展,给文本 chunk 提供向量索引,承担本地离线知识库 的核心存储。CHAYUAN_ROOT/data 和 CHAYUAN_ROOT/vectors 是两个核心目录。这一层之外还有外部数据源:业务数据库(结构化)、外部向量库(Milvus、Chroma 等)、办公私库 等,通过 source connector 接进来。

三层之间的通信。前端到 sidecar 走 HTTP,主接口是 /api/v1/* 系列。流式响应走 SSE。文件上传走 multipart/form-data。前端不直接读写 CHAYUAN_ROOT,所有数据访问经过 sidecar 控制。Tauri 主进程到 sidecar 是父子进程关系,Tauri 通过 stdin/stdout 监控 sidecar 的存活,必要时重启。sidecar 到数据层走 SQLAlchemy ORM 加 sqlite-vec 的扩展函数。

为什么不直接 Tauri 加 Rust 后端。这是设计阶段最大的取舍。Rust 后端有几个不方便:一是 AI 生态在 Rust 里不成熟,LangChain、LlamaIndex、各家厂商的 SDK 几乎都是 Python;二是文档解析(PyPDF、python-docx、openpyxl 等)的 Python 库很成熟;三是 ONNX Runtime 在 Python 下用着方便,跨平台;四是 Pydantic v2 这套数据建模在 Python 上做接口契约非常好用。所以 Rust 只用来做外壳,业务逻辑全在 Python。

为什么不直接走云端。chayuan-desktop 的核心价值在 不联外网也能跑。如果业务逻辑在云端,那一切就跟传统的 SaaS 没区别了。把 Python 后端打进单机包,每台电脑都是自己的 AI 服务器,数据完全在自己手里。这是 免费开源的AI软件 在隐私敏感场景里能立足的根本。

为什么用 sqlite-vec 不用 pgvector。Postgres 的 pgvector 性能更强,但需要单独部署 PG 服务,对单机版不友好。sqlite-vec 是嵌入式的,单文件存储,几万到几十万 chunk 的规模够用,启动开销几乎为零。用户场景如果超过 sqlite-vec 上限,自己接外部 Milvus 当外部源,灵活。

未来扩展点在哪里。一是 sidecar 横向扩展。多人协作场景下 sidecar 可以拆出去做共享后端,多个 chayuan-desktop 客户端连同一个后端,共享 KB。二是模型对抗 模块独立化。三是 MCP 协议作为统一外部接入点,把更多第三方工具拉进来。四是离线模型能力增强,包括多模态的本地推理。

WPS AI 插件 chayuan-wps 是这个三层架构之外的第四个使用方。它通过 HTTP 调 sidecar 的 /api/v1/* 接口,跟桌面 webview 走的是同一组接口。这种设计让 chayuan-desktop 的后端能力被任何能讲 HTTP 的客户端复用,加载项只是其中之一。

总览到此。后面 25 篇文章会一篇一篇拆每个细节。

相关推荐
Decay__2 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
VIP_CQCRE2 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷3 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我4 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁014 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn4 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄5 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下6 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码6 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下7 小时前
langgraph 全栈项目(二)
前端·人工智能·后端