RAG(宠物健康AI)

RAG(宠物健康AI)

前言

公司目前的 AI 问诊模块,对于专业知识的回答还有待提高,直接调用 LLM,回复的问诊可能并不满意,所以需要使用 RAG 索引加强。

简略目标 (三个服务)

  1. 数据采集: 爬取 N 个平台的宠物健康知识进行存储。
  2. 知识库构建: 解析平台数据结构,存储为向量和图数据库。(这里尝试过微调模型,也就是通过自己的知识库,基于一个模型训练出新的模型,效果可以,但训练时长过久,价格也偏贵)
  3. 索引增强: AI 问诊模块,会使用到向量和图数据库里的数据增加索引。

简单介绍向量库和图数据库的作用

  • 向量数据库: 将文字转换为多维向量,通过计算语义相似度,快速检索出意思相近的段落。
  • 图数据库 : 三元组,类似于存储了主谓宾,比如 寄生虫引起皮肤瘙痒。
    • 主: 寄生虫
    • 谓: 引起
    • 宾: 皮肤瘙痒
    • 通过其中一个实体就能去查其他边和实体,并且也会存储同义词,做后续的搜索。

技术栈

  • 后端: Python 为主,性能不够 Golang 来凑。
  • 后端 AI 模型: GPT-4o 为主。
  • 数据库: PG 持久化,Redis 缓存,向量数据库 Milvus,图数据库 Nebula。
  • AI 开发辅助: Claude Connect 4.5 系列(为主),偶尔 Gemini 3 Pro。

一、宠物健康知识数据爬虫

  1. 大概找了 7-8 个不同的平台来爬取数据,有的可以直接通过 API 获取,有的是直接爬取网站,通过网页 HTML 元素解析数据。
  2. 把所有平台的宠物健康分类爬下来,根据不同的类型存储到分类表。
  3. 根据分类表去爬取具体的文章内容 ---> 存储到内容表。
  4. 解析文章内容,转换成 Markdown 格式,为后续向量数据库和图数据库做准备。
    • 解析的内容包括(不局限于): 标题, 内容, URL, UUID(根据 URL Hash 出来的唯一标签), 分类路径, 平台类型, 元数据, 拓展数据。

二、数据解析,图数据库与向量数据库存储

  1. 把爬虫阶段的 Markdown 格式数据,迁移到本服务。
  2. 拆分成段落,存储到段落表。包含段落标签、排序、长度等。
  3. 通过 Embedding模型 把段落转换成向量进行向量库存储。
  4. 通过 LLM 把文章中的三元组提取出来,存储到图数据库。
  5. 同义词拓展。

三、宠物健康 AI 服务

  1. 正常的用户模块、Session 模块。
  2. 会根据用户的问题,来判断进度,引导用户去补全关键信息,比如布偶猫最近饮食、大便等情况 (必须包含品种、年龄、病史,会让其选择)。
  3. 安全合规检测,检测内容。
  4. 图片分析,通过 LLM 分析出症状等。
  5. 进度到百分之百时,会把用户的问题做一个归纳,再生成一个问诊报表。
    • 3.1 会把当前上下文提的问题,通过 LLM 总结成一条或者多条概述去查询向量,这样就能查出对应的知识库段落。
    • 3.2 会把当前上下文提的问题,通过 LLM 提取出三元组,且把三元组转换成专业词语 (口语转标准术语),比如不吃东西可以转换为厌食,再去查询图数据库知识。
    • 3.3 以上都是选择出相似度最高的 10 条数据。
  6. 根据已有的知识库,进行 LLM 调用生成问诊报表。
相关推荐
AI算力2 小时前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷3 小时前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件3 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn3 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天3 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn4 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT4 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn4 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
伞伞悦读6 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习