免费开源的AI软件怎么把企业级后端塞进单机包 察元AI三层架构总览

免费开源的AI软件怎么把企业级后端塞进单机包 察元AI三层架构总览

桌面 AI 应用做单机版的方案不少,但绝大多数是把 Web 前端套个 Electron 壳,后端要么在云端,要么外挂本地推理服务。chayuan-desktop 桌面单机版走了不一样的路:把一整套企业级后端打包进了 Tauri 安装包里。这一篇讲清楚这个三层架构是怎么搭的,为什么这么搭。

第一层是前端。Tauri 2 主进程 加 React 19 加 Tailwind。Tauri 主进程负责窗口管理、文件对话框、系统托盘、自动更新等系统集成。React 19 在主进程暴露的 webview 里渲染主界面,包括对话窗口、知识库管理、模型配置、设置页等。Tailwind 做样式,配合主题切换。前端跟后端的所有通信都走 HTTP 或者 SSE,不用 Tauri 的 invoke RPC,原因是后端是独立的 Python 进程而不是 Rust 模块。

第二层是嵌入式 Python sidecar。chayuan-server 是一个完整的 Python 应用,用 FastAPI 做 HTTP 服务,跑在 127.0.0.1:62581。它内部包括模型网关层、检索编排层、知识库管理层、工具调用层、评估治理层。这一整套东西在云端版本里是个独立服务,单机版用 PyInstaller onedir 打包成可执行二进制塞进 Tauri 安装包。Tauri 主进程通过 spawn 子进程的方式拉它起来,注入 CHAYUAN_ROOT 环境变量。

第三层是数据层。SQLite 加 sqlite-vec 是默认选择。SQLite 存对话历史、知识库元数据、用户配置、审计日志,每个 KB 一个数据库文件。sqlite-vec 是 SQLite 扩展,给文本 chunk 提供向量索引,承担本地离线知识库 的核心存储。CHAYUAN_ROOT/data 和 CHAYUAN_ROOT/vectors 是两个核心目录。这一层之外还有外部数据源:业务数据库(结构化)、外部向量库(Milvus、Chroma 等)、办公私库 等,通过 source connector 接进来。

三层之间的通信。前端到 sidecar 走 HTTP,主接口是 /api/v1/* 系列。流式响应走 SSE。文件上传走 multipart/form-data。前端不直接读写 CHAYUAN_ROOT,所有数据访问经过 sidecar 控制。Tauri 主进程到 sidecar 是父子进程关系,Tauri 通过 stdin/stdout 监控 sidecar 的存活,必要时重启。sidecar 到数据层走 SQLAlchemy ORM 加 sqlite-vec 的扩展函数。

为什么不直接 Tauri 加 Rust 后端。这是设计阶段最大的取舍。Rust 后端有几个不方便:一是 AI 生态在 Rust 里不成熟,LangChain、LlamaIndex、各家厂商的 SDK 几乎都是 Python;二是文档解析(PyPDF、python-docx、openpyxl 等)的 Python 库很成熟;三是 ONNX Runtime 在 Python 下用着方便,跨平台;四是 Pydantic v2 这套数据建模在 Python 上做接口契约非常好用。所以 Rust 只用来做外壳,业务逻辑全在 Python。

为什么不直接走云端。chayuan-desktop 的核心价值在 不联外网也能跑。如果业务逻辑在云端,那一切就跟传统的 SaaS 没区别了。把 Python 后端打进单机包,每台电脑都是自己的 AI 服务器,数据完全在自己手里。这是 免费开源的AI软件 在隐私敏感场景里能立足的根本。

为什么用 sqlite-vec 不用 pgvector。Postgres 的 pgvector 性能更强,但需要单独部署 PG 服务,对单机版不友好。sqlite-vec 是嵌入式的,单文件存储,几万到几十万 chunk 的规模够用,启动开销几乎为零。用户场景如果超过 sqlite-vec 上限,自己接外部 Milvus 当外部源,灵活。

未来扩展点在哪里。一是 sidecar 横向扩展。多人协作场景下 sidecar 可以拆出去做共享后端,多个 chayuan-desktop 客户端连同一个后端,共享 KB。二是模型对抗 模块独立化。三是 MCP 协议作为统一外部接入点,把更多第三方工具拉进来。四是离线模型能力增强,包括多模态的本地推理。

WPS AI 插件 chayuan-wps 是这个三层架构之外的第四个使用方。它通过 HTTP 调 sidecar 的 /api/v1/* 接口,跟桌面 webview 走的是同一组接口。这种设计让 chayuan-desktop 的后端能力被任何能讲 HTTP 的客户端复用,加载项只是其中之一。

总览到此。后面 25 篇文章会一篇一篇拆每个细节。

相关推荐
KaMeidebaby4 分钟前
卡梅德生物技术快报|酵母表达系统工程:裂殖酵母穿梭载体分子改造与载体构建技术总结
网络·人工智能·网络协议·tcp/ip·算法
市象4 分钟前
可灵头上缺了一朵遮风挡雨的云
人工智能
godspeed_lucip6 分钟前
LLM和Agent——专题6:Multi Agent 入门(1)
人工智能·python
小真zzz9 分钟前
GEO选型避坑实录:当“参考答案”是假的,如何找到“标准答案”?
大数据·人工智能·搜索引擎·ai·大模型
roman_日积跬步-终至千里9 分钟前
【架构实践(1)】架构师如何正确理解业务
运维·架构
菜鸡旭旭11 分钟前
【AI培训中台-对话链路】
人工智能
2601_9578822412 分钟前
多云协同架构下的分布式媒体分发:微服务状态机设计、分布式追踪与跨域路由容错实践
分布式·架构·媒体
呆呆敲代码的小Y13 分钟前
CC-Switch使用教程,包含ClaudeCode、Codex具体示例 【持续更新】
人工智能·ai·agent·cc-switch
芝士爱知识a13 分钟前
智胜未来:以AlphaGBM为核心的AI量化分析软件深度评测与行业洞察报告
人工智能·量化分析·ai量化·alphagbm·量化分析软件·ai量化工具·ai量化软件
luoganttcc14 分钟前
Blackwell 架构和昇腾架构:从大模型数据流看 GPU 与 NPU 的收敛
架构