免费开源的AI软件怎么把企业级后端塞进单机包 察元AI三层架构总览

免费开源的AI软件怎么把企业级后端塞进单机包 察元AI三层架构总览

桌面 AI 应用做单机版的方案不少,但绝大多数是把 Web 前端套个 Electron 壳,后端要么在云端,要么外挂本地推理服务。chayuan-desktop 桌面单机版走了不一样的路:把一整套企业级后端打包进了 Tauri 安装包里。这一篇讲清楚这个三层架构是怎么搭的,为什么这么搭。

第一层是前端。Tauri 2 主进程 加 React 19 加 Tailwind。Tauri 主进程负责窗口管理、文件对话框、系统托盘、自动更新等系统集成。React 19 在主进程暴露的 webview 里渲染主界面,包括对话窗口、知识库管理、模型配置、设置页等。Tailwind 做样式,配合主题切换。前端跟后端的所有通信都走 HTTP 或者 SSE,不用 Tauri 的 invoke RPC,原因是后端是独立的 Python 进程而不是 Rust 模块。

第二层是嵌入式 Python sidecar。chayuan-server 是一个完整的 Python 应用,用 FastAPI 做 HTTP 服务,跑在 127.0.0.1:62581。它内部包括模型网关层、检索编排层、知识库管理层、工具调用层、评估治理层。这一整套东西在云端版本里是个独立服务,单机版用 PyInstaller onedir 打包成可执行二进制塞进 Tauri 安装包。Tauri 主进程通过 spawn 子进程的方式拉它起来,注入 CHAYUAN_ROOT 环境变量。

第三层是数据层。SQLite 加 sqlite-vec 是默认选择。SQLite 存对话历史、知识库元数据、用户配置、审计日志,每个 KB 一个数据库文件。sqlite-vec 是 SQLite 扩展,给文本 chunk 提供向量索引,承担本地离线知识库 的核心存储。CHAYUAN_ROOT/data 和 CHAYUAN_ROOT/vectors 是两个核心目录。这一层之外还有外部数据源:业务数据库(结构化)、外部向量库(Milvus、Chroma 等)、办公私库 等,通过 source connector 接进来。

三层之间的通信。前端到 sidecar 走 HTTP,主接口是 /api/v1/* 系列。流式响应走 SSE。文件上传走 multipart/form-data。前端不直接读写 CHAYUAN_ROOT,所有数据访问经过 sidecar 控制。Tauri 主进程到 sidecar 是父子进程关系,Tauri 通过 stdin/stdout 监控 sidecar 的存活,必要时重启。sidecar 到数据层走 SQLAlchemy ORM 加 sqlite-vec 的扩展函数。

为什么不直接 Tauri 加 Rust 后端。这是设计阶段最大的取舍。Rust 后端有几个不方便:一是 AI 生态在 Rust 里不成熟,LangChain、LlamaIndex、各家厂商的 SDK 几乎都是 Python;二是文档解析(PyPDF、python-docx、openpyxl 等)的 Python 库很成熟;三是 ONNX Runtime 在 Python 下用着方便,跨平台;四是 Pydantic v2 这套数据建模在 Python 上做接口契约非常好用。所以 Rust 只用来做外壳,业务逻辑全在 Python。

为什么不直接走云端。chayuan-desktop 的核心价值在 不联外网也能跑。如果业务逻辑在云端,那一切就跟传统的 SaaS 没区别了。把 Python 后端打进单机包,每台电脑都是自己的 AI 服务器,数据完全在自己手里。这是 免费开源的AI软件 在隐私敏感场景里能立足的根本。

为什么用 sqlite-vec 不用 pgvector。Postgres 的 pgvector 性能更强,但需要单独部署 PG 服务,对单机版不友好。sqlite-vec 是嵌入式的,单文件存储,几万到几十万 chunk 的规模够用,启动开销几乎为零。用户场景如果超过 sqlite-vec 上限,自己接外部 Milvus 当外部源,灵活。

未来扩展点在哪里。一是 sidecar 横向扩展。多人协作场景下 sidecar 可以拆出去做共享后端,多个 chayuan-desktop 客户端连同一个后端,共享 KB。二是模型对抗 模块独立化。三是 MCP 协议作为统一外部接入点,把更多第三方工具拉进来。四是离线模型能力增强,包括多模态的本地推理。

WPS AI 插件 chayuan-wps 是这个三层架构之外的第四个使用方。它通过 HTTP 调 sidecar 的 /api/v1/* 接口,跟桌面 webview 走的是同一组接口。这种设计让 chayuan-desktop 的后端能力被任何能讲 HTTP 的客户端复用,加载项只是其中之一。

总览到此。后面 25 篇文章会一篇一篇拆每个细节。

相关推荐
xiakq1 分钟前
2026 年八大 LLM API 横评:DeepSeek V4 vs GPT-4o vs Claude vs Gemini
人工智能·gpt·ai·claude
u0103055274 分钟前
Java图像处理实战指南
人工智能·1024程序员节
铃木之影12 分钟前
Java 版本 RAG 示例(Spring AI + Milvus)
java·人工智能·spring
小马过河R13 分钟前
AI Coding应用上线安全实践指南
人工智能·安全·安全架构·engineering·ai coding·harness
@Mr_LiuYang14 分钟前
《深入理解 AI Agent:设计原理与工程实践 》实验2-1 本地大模型服务部署与工具调用
人工智能·大模型·本地化部署·深入理解ai agent
Zkaisen22 分钟前
第三章 · 大语言模型基础(详尽展开版)
人工智能·语言模型·自然语言处理
todoitbo25 分钟前
MongoDB迁移:从烟囱式部署走向 KES-AI 时代融合数据库架构
人工智能·mongodb·数据库架构·国产数据库·kingbasees
意图共鸣27 分钟前
意图共鸣科技8月6日正式发布《交互等效原理》——大模型下半场的工程哲学纲领
人工智能
nuoxin11427 分钟前
BL-M8812CU3 无线 WiFi 模块-富利威
人工智能·嵌入式硬件·fpga开发·硬件工程·dsp开发
想会飞的蒲公英28 分钟前
PyTorch 学习率实战:从零理解衰减策略与调度器
人工智能·pytorch·python·深度学习·机器学习