RAG 进阶:一个 ctrl-c 就能拿走的图文检索框架

HuixiangDou 是群聊场景的 LLM 知识助手。群里人多口杂,机器人显然不应该答复所有消息,它的设计规则为:

  • 无关内容不吭声------拒答

  • 明确该答的,直接回复------检索

  • 不能违反核心价值观------可靠

++*https://github.com/InternLM/HuixiangDou*++

(觉得好用,欢迎点亮 star)

上一篇文章中,我们介绍如何用知识图谱提升稠密检索能力,本文分享 HuixiangDou 在图文检索中的软件设计考量。

软件设计

目前 GitHub 上已经有很多知名 RAG 框架:

  • Langchain:以 langchain-corelangchain-community 为主,提供了海量 LLM 应用样例

  • GraphRAG:基于多轮 LLM,从原始文本构建不同层次知识图谱

  • Ragflow:提供了一套完整的 RAG 工作流程,适用于不同规模的企业及个人

HuixiangDou 聚焦在群聊场景,除了能提供业务数据上的精度报告外,在实现层面没有历史包袱,因此更简单有效。

鼓励用户拿走代码

不仅仅是 pip install 再调 API,HuixiangDou 假设用户也喜欢直接 copy 走源码。

这样能同时改善双方的体验:

  1. 作者不需要在 API 文档和维护上投入太多精力,毕竟没有复杂抽象

  2. 用户理解起来也没有难度,所见即所得,只需要关注算法细节本身

因此 HuixiangDou 源码有三个核心目录:

  • primitive。 一些基础设计,如多模态 query、切分方法 splitter 、特征读写 faiss

  • **service。**RAG 需要的 pipeline 逻辑,如网络搜索、混合知识图谱做拒答等

  • **frontend。**群聊软件(如飞书、微信等)的接入方法

相对于 langchain ,HuixiangDou 的设计更贴合每个模块原本的功能,例如:

  • 切分后的结构是 Chunk 而非 Document

  • 特征是否归一化、使用哪种距离函数,取决于 embedder 模型的设计。这并非 faiss 存储的职责

  • Query 对图片/语音更友好,不需要塞进尴尬的 metadata

如果用户希望构建自己的 RAG 应用,既不希望引入庞大依赖又不想自己写,ctrl-c 拿走 primitive 目录即可。HuixiangDou 还提供了单元测试和精度报告,保证拿走的都是可靠的。

图文混合检索

如果有 10G 显存,HuixiangDou 目前可用 Visualized-BGE 提取图片特征,图片和文字的特征放入同一个 faiss 库中,等待后续检索。

特征库构建过程和纯文本模态完全相同:

复制代码
python3 -m huixiangdou.service.feature_store --config_path config-multimodal.ini

然后用以下命令,运行一个简单的 gradio WebUI:

复制代码
python3 tests/test_query_gradio.py --config_path config-multimodal.ini

提交问题和图片,可以检索图片所属文档,并作答:

运行需注意:

  • 手动下载 eva-clip 权重到 bge-m3 模型目录。Visualized-BGE 模型本质是对齐图片和文字的语义

  • 要安装 HuixiangDou 的 requirements-multimodal.txt和 FlagEmbedding main 分支,我们做了些小修复

得益于 primitive 的简洁设计,HuixiangDou 在默认情况下,仍然是仅需 1.5G 显存的 BCE 纯文本模型。我们已对齐了实现多模态前后的业务精度。

总结

本文分享了 HuixiangDou 在实现图片混合检索过程中,在设计层面的考量,我们更鼓励用户拿走代码。

在图文检索方面,目前只支持 markdown 文件,还需支持更多格式。

相关推荐
星空的资源小屋21 小时前
PPTist,一个完全免费的 AI 生成 PPT 在线网站
人工智能·python·电脑·excel
全年无休的IT老兵21 小时前
使用AI工具一句话生成PPT
人工智能·powerpoint
即兴小索奇21 小时前
Gamma AI:高效制作PPT的智能生成工具
ai·商业·ai商业洞察·即兴小索奇
初级炼丹师(爱说实话版)21 小时前
2025算法八股——深度学习——优化器小结
人工智能·深度学习·算法
开开心心_Every21 小时前
免费语音合成工具:66种音色随心选
人工智能·面试·java-ee·计算机外设·电脑·maven·excel
Pocker_Spades_A21 小时前
论文精读(五):面向链接预测的知识图谱表示学习方法综述
人工智能·链表·知识图谱
AI算法工程师Moxi21 小时前
人工智能在医学图像中的应用:从机器学习到深度学习
人工智能·深度学习·机器学习
Billy_Zuo21 小时前
人工智能机器学习——聚类
人工智能·机器学习·聚类
大熊背21 小时前
怎样利用AE统计数据优化安防芯片ISP的图像质量?
人工智能·自动曝光
百度智能云技术站1 天前
AI 云再进化,百度智能云新技术与产品全景解读
人工智能·百度