概述
本文从高层介绍了Onyx 的工作原理。通过本文的阅读可以对Onyx的运行流程有一个清楚的了解，可以作为了解Onyx的一个起点。
系统总体架构
无论是在单个实例上部署 Onyx，还是在容器编排平台上部署 Onyx，数据流都是一样的。文件通过连接器提取和处理，然后在 Vespa/Postgres 中持久化，Vespa/Postgres 在系统内的容器中运行。
只有在调用 LLM 生成答案时，敏感数据才会离开 Onyx 设置。与 LLM 的通信是加密的。LLM API 的数据持久性取决于您使用的 LLM 托管服务的条款。
我们还注意到，Onyx 有一些非常有限的匿名遥测功能，可以帮助我们识别瓶颈和不稳定的数据连接器，从而改进系统。您可以将 DISABLE_TELEMETRY 环境变量设置为 True，从而关闭遥测功能。
嵌入式流程(Embedding Flow)
每份文档都被分割成较小的部分，称为 "块"。 通过向 LLM 传递块而不是完整的文档，我们可以只传递文档的相关部分，从而减少对模型的干扰。
此外，由于 LLM 服务通常按令牌收费，因此这也大大提高了成本效益。最后，通过嵌入小块而非完整文档，我们能够保留更多细节，因为每个矢量嵌入只能编码有限的信息量。 增加迷你(mini-chunks)块后，这一概念更进一步。
通过不同大小的嵌入，Onyx 可以检索高层上下文和细节。迷你块还可以通过环境变量打开/关闭，因为如果在性能较差的硬件上部署，每个迷你块生成多个向量可能会降低文档索引的速度。
在选择嵌入模型时，我们使用了最新的先进的编码器（biencoder），该编码器体积小，可在 CPU 上运行，同时保持亚秒级的文档检索时间。
查询流程（Query Flow）
这个流程会经常更新，因为我们一直在努力根据研究和开源社区的最新进展来提高检索管道的能力。
另外请注意，此流程的许多参数，如检索多少文档、重排序多少文档、使用什么模型、将哪些块传递给 LLM 等，都是可以配置的。
总结
可见在整个RAG流程中，要确保RAG的效果，需要关注以下几个方面的实现：（1）数据切割的方式是否恰当或合理；这需要根据不同的内容来实现不同的切割方法。（2）如何能够从知识库中找到与实际情况相匹配的向量（数据）内容。（3）知识库和向量数据库的更新：如何把最新数据更新到知识库中，把过时的知识从知识库中删除。