一、QAnything介绍
QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统,可断网安装使用。
您的任何格式的本地文件都可以往里扔,即可获得准确、快速、靠谱的问答体验。
目前已支持格式: PDF,Word(doc/docx),PPT,Markdown,Eml,TXT,图片(jpg,png等),网页链接,更多格式,敬请期待...
二、特点
-
数据安全,支持全程拔网线安装使用。
-
支持跨语种问答,中英文问答随意切换,无所谓文件是什么语种。
-
支持海量数据问答,两阶段向量排序,解决了大规模数据检索退化的问题,数据越多,效果越好。
-
高性能生产级系统,可直接部署企业应用。
-
易用性,无需繁琐的配置,一键安装部署,拿来就用。
-
支持选择多知识库问答。
三、架构
3.1 为什么是两阶段检索?
知识库数据量大的场景下两阶段优势非常明显,如果只用一阶段embedding检索,随着数据量增大会出现检索退化的问题,如下图中绿线所示,二阶段rerank重排后能实现准确率稳定增长,即数据越多,效果越好。
QAnything使用的检索组件BCEmbedding(https://github.com/netease-youdao/BCEmbedding)有非常强悍的双语和跨语种能力,能消除语义检索里面的中英语言之间的差异,从而实现:
-
强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。
-
基于LlamaIndex的RAG评测,表现SOTA【基于LlamaIndex的RAG评测指标】。
一阶段检索(embedding)
模型名称 | Retrieval | STS | PairClassification | Classification | Reranking | Clustering | 平均 |
---|---|---|---|---|---|---|---|
bge-base-en-v1.5 | 37.14 | 55.06 | 75.45 | 59.73 | 43.05 | 37.74 | 47.20 |
bge-base-zh-v1.5 | 47.60 | 63.72 | 77.40 | 63.38 | 54.85 | 32.56 | 53.60 |
bge-large-en-v1.5 | 37.15 | 54.09 | 75.00 | 59.24 | 42.68 | 37.32 | 46.82 |
bge-large-zh-v1.5 | 47.54 | 64.73 | 79.14 | 64.19 | 55.88 | 33.26 | 54.21 |
jina-embeddings-v2-base-en | 31.58 | 54.28 | 74.84 | 58.42 | 41.16 | 34.67 | 44.29 |
m3e-base | 46.29 | 63.93 | 71.84 | 64.08 | 52.38 | 37.84 | 53.54 |
m3e-large | 34.85 | 59.74 | 67.69 | 60.07 | 48.99 | 31.62 | 46.78 |
bce-embedding-base_v1 | 57.60 | 65.73 | 74.96 | 69.00 | 57.29 | 38.95 | 59.43 |
- 更详细的评测结果详见Embedding模型指标汇总(https://github.com/netease-youdao/BCEmbedding/blob/master/Docs/EvaluationSummary/embedding_eval_summary.md)。
二阶段检索(rerank)
模型名称 | Reranking | 平均 |
---|---|---|
bge-reranker-base | 57.78 | 57.78 |
bge-reranker-large | 59.69 | 59.69 |
bce-reranker-base_v1 | 60.06 | 60.06 |
- 更详细的评测结果详见Reranker模型指标汇总(https://github.com/netease-youdao/BCEmbedding/blob/master/Docs/EvaluationSummary/reranker_eval_summary.md)
3.2 基于LlamaIndex的RAG评测(embedding and rerank)
NOTE:
-
在WithoutReranker列中,我们的bce-embedding-base_v1模型优于所有其他embedding模型。
-
在固定embedding模型的情况下,我们的bce-reranker-base_v1模型达到了最佳表现。
-
bce-embedding-base_v1和bce-reranker-base_v1的组合是SOTA。
-
如果想单独使用embedding和rerank请参阅:BCEmbedding
3.3 LLM
开源版本QAnything的大模型基于通义千问,并在大量专业问答数据集上进行微调;在千问的基础上大大加强了问答的能力。如果需要商用请遵循千问的license,具体请参阅:通义千问(https://github.com/QwenLM/Qwen)
四、开始
👉 在线试用QAnything:https://qanything.ai/
4.1 必要条件
必要项 | 最低要求 | 备注 |
---|---|---|
NVIDIA GPU Memory | >= 16GB | 推荐NVIDIA 3090 |
NVIDIA Driver 版本 | >= 525.105.17 | |
CUDA 版本 | >= 12.0 | |
docker compose 版本 | >=1.27.4 | docker compose 安装教程 |
4.2 下载安装
-
step1: 下载本项目
-
step2: 下载模型并解压到本项目根目录下
cd QAnythinggit lfs installgit clone https://www.modelscope.cn/netease-youdao/qanything_models.gitunzip qanything_models/models.zip # in root directory of the current project
-
step3:更改配置
vim front_end/.env # change 10.55.163.92 to your hostvim docker-compose.yaml # change CUDA_VISIBLE_DEVICES to your gpu device id
-
step4: 启动服务
docker-compose up -d
安装成功后,即可在浏览器输入以下地址进行体验。
-
前端地址: http://{your_host}:5052/qanything
-
api地址: http://{your_host}:5052/api/
详细API文档请移步QAnything API 文档(https://github.com/netease-youdao/QAnything/blob/master/docs/API.md)
参考文献:
[1] https://github.com/netease-youdao/QAnything/blob/master/README_zh.md