LLM漫谈(二)| QAnything支持任意格式文件或数据库的本地知识库问答系统

一、QAnything介绍

QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统,可断网安装使用。

您的任何格式的本地文件都可以往里扔,即可获得准确、快速、靠谱的问答体验。

目前已支持格式: PDF,Word(doc/docx),PPT,Markdown,Eml,TXT,图片(jpg,png等),网页链接,更多格式,敬请期待...

二、特点

  • 数据安全,支持全程拔网线安装使用。

  • 支持跨语种问答,中英文问答随意切换,无所谓文件是什么语种。

  • 支持海量数据问答,两阶段向量排序,解决了大规模数据检索退化的问题,数据越多,效果越好。

  • 高性能生产级系统,可直接部署企业应用。

  • 易用性,无需繁琐的配置,一键安装部署,拿来就用。

  • 支持选择多知识库问答。

三、架构

3.1 为什么是两阶段检索?

知识库数据量大的场景下两阶段优势非常明显,如果只用一阶段embedding检索,随着数据量增大会出现检索退化的问题,如下图中绿线所示,二阶段rerank重排后能实现准确率稳定增长,即数据越多,效果越好。

QAnything使用的检索组件BCEmbedding(https://github.com/netease-youdao/BCEmbedding)有非常强悍的双语和跨语种能力,能消除语义检索里面的中英语言之间的差异,从而实现:

  • 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。

  • 基于LlamaIndex的RAG评测,表现SOTA【基于LlamaIndex的RAG评测指标】。

一阶段检索(embedding)

模型名称 Retrieval STS PairClassification Classification Reranking Clustering 平均
bge-base-en-v1.5 37.14 55.06 75.45 59.73 43.05 37.74 47.20
bge-base-zh-v1.5 47.60 63.72 77.40 63.38 54.85 32.56 53.60
bge-large-en-v1.5 37.15 54.09 75.00 59.24 42.68 37.32 46.82
bge-large-zh-v1.5 47.54 64.73 79.14 64.19 55.88 33.26 54.21
jina-embeddings-v2-base-en 31.58 54.28 74.84 58.42 41.16 34.67 44.29
m3e-base 46.29 63.93 71.84 64.08 52.38 37.84 53.54
m3e-large 34.85 59.74 67.69 60.07 48.99 31.62 46.78
bce-embedding-base_v1 57.60 65.73 74.96 69.00 57.29 38.95 59.43

二阶段检索(rerank)

模型名称 Reranking 平均
bge-reranker-base 57.78 57.78
bge-reranker-large 59.69 59.69
bce-reranker-base_v1 60.06 60.06

3.2 基于LlamaIndex的RAG评测(embedding and rerank)

NOTE:

  • 在WithoutReranker列中,我们的bce-embedding-base_v1模型优于所有其他embedding模型。

  • 在固定embedding模型的情况下,我们的bce-reranker-base_v1模型达到了最佳表现。

  • bce-embedding-base_v1和bce-reranker-base_v1的组合是SOTA。

  • 如果想单独使用embedding和rerank请参阅:BCEmbedding

3.3 LLM

开源版本QAnything的大模型基于通义千问,并在大量专业问答数据集上进行微调;在千问的基础上大大加强了问答的能力。如果需要商用请遵循千问的license,具体请参阅:通义千问(https://github.com/QwenLM/Qwen)

四、开始

👉 在线试用QAnything:https://qanything.ai/

4.1 必要条件

必要项 最低要求 备注
NVIDIA GPU Memory >= 16GB 推荐NVIDIA 3090
NVIDIA Driver 版本 >= 525.105.17
CUDA 版本 >= 12.0
docker compose 版本 >=1.27.4 docker compose 安装教程

4.2 下载安装

安装成功后,即可在浏览器输入以下地址进行体验。

  • 前端地址: http://{your_host}:5052/qanything

  • api地址: http://{your_host}:5052/api/

详细API文档请移步QAnything API 文档(https://github.com/netease-youdao/QAnything/blob/master/docs/API.md)

参考文献:

[1] https://github.com/netease-youdao/QAnything/blob/master/README_zh.md

相关推荐
小码的头发丝、30 分钟前
Django中ListView 和 DetailView类的区别
数据库·python·django
Karoku06640 分钟前
【企业级分布式系统】Zabbix监控系统与部署安装
运维·服务器·数据库·redis·mysql·zabbix
周全全1 小时前
MySQL报错解决:The user specified as a definer (‘root‘@‘%‘) does not exist
android·数据库·mysql
白云如幻1 小时前
MySQL的分组函数
数据库·mysql
荒川之神2 小时前
ORACLE 闪回技术简介
数据库·oracle
学习前端的小z2 小时前
【AIGC】如何通过ChatGPT轻松制作个性化GPTs应用
人工智能·chatgpt·aigc
DisonTangor2 小时前
苹果发布iOS 18.2首个公测版:Siri接入ChatGPT、iPhone 16拍照按钮有用了
ios·chatgpt·iphone
晨欣2 小时前
Elasticsearch和Lucene之间是什么关系?(ChatGPT回答)
elasticsearch·chatgpt·lucene
时差9533 小时前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
让学习成为一种生活方式3 小时前
R包下载太慢安装中止的解决策略-R语言003
java·数据库·r语言