基于YOLO与大语言模型的中医智能舌诊系统

🏥 基于YOLO与大语言模型的中医智能舌诊系统

智能舌诊、症状关联、中医辩证、健康管理
代码获取:https://mbd.pub/o/bread/YZWakplqbQ==

基于YOLO与大语言模型的中医智能舌诊系统

📖 背景 (Background)

在中医诊断中,"望闻问切"是核心手段,其中舌诊 (望舌)和问诊 (症状询问)结合是精准辩证的基础。

本项目设计并实现了一套基于深度学习的中医智能舌诊系统 。系统以 YOLOv8 为核心进行舌象特征提取,结合 用户主诉症状 ,利用 LLaVA 多模态大模型进行深度辩证分析。











🏗️ 系统架构 (System Architecture)

系统采用 B/S 架构,融合了目标检测、自然语言处理与现代前端技术:

graph TD subgraph Input_Layer [输入层] A[摄像头/图片上传] -->|Image| B(图像预处理) A1[主诉/症状输入] -->|Text| B1(症状向量) end subgraph AI_Core [AI 核心层] B -->|YOLOv8| C{病理特征识别} C -->|Feature Tags| D[特征向量] B1 --> D D -->|Multimodal Prompt| E[LLaVA 大模型] E -->|Reasoning| F[中医辩证报告] end subgraph Service_Layer [业务逻辑] C --> G[特征标注可视化] F --> H[结构化报告生成] F --> I[健康档案数据库] end subgraph UI_Layer [交互展示层] G --> J[Web Interface (Premium UI)] H --> J I --> K[可视化仪表盘] end

💎 核心功能 (Core Features)

1. 🔍 智能病理特征识别 (High-Precision Detection)

基于 YOLOv8 深度学习模型,实现了对舌象细微病理特征的毫秒级检测。

  • 多病种覆盖 :精准识别 黑苔 (危重/热极) 、地图舌 (胃气阴虚) 、紫舌 (血瘀) 、黄/白腻苔 (湿热/痰饮) 等典型病变。
  • 抗干扰能力:采用数据增强训练,能在不同光源、拍摄角度及背景下准确提取舌体区域,有效排除面部其他器官的干扰。
  • 实时推理:支持实时视频流检测,在 GPU 环境下可达实时帧率,满足临床快速筛查需求。

2. 🧠 多模态融合辩证 (Multimodal Diagnosis)

引入 LLaVA (Large Language-and-Vision Assistant) 大模型,模拟老中医的"望闻问切"思维过程。

  • "望+问"双诊合参 :系统不仅仅依靠图像,还能结合用户输入的主诉症状(如:失眠多梦、口苦口干)。
  • 深度推理:大模型将 YOLO 检测到的客观特征(如"舌质红"、"苔黄腻")与用户的主观感受进行逻辑关联。例如,检测到"舌尖红"且用户主诉"失眠",模型会智能推断为"心火旺"。
  • 标准化输出 :自动生成结构化的中医诊断报告,严格包含以下模块:
    1. 症状关联分析:解释症状与舌象的内在联系。
    2. 辩证结论:明确体质类型(如:阴虚火旺、脾胃湿热)。
    3. 调理方案:提供个性化的饮食禁忌、中药方剂建议及作息指导。

3. 📊 批量体检与健康档案 (Batch & History)

面向医疗机构或社区体检场景的实用功能。

  • 高通量自动筛查 :支持由文件夹批量导入舌象图片,系统自动进行检测与分析,并生成包含文件名、检测结果、病理计数的 Excel/CSV 报表。
  • 数字化健康档案 :
    • 历史回溯:系统本地数据库自动记录每一次诊断详情(时间、图像路径、诊断结果)。
    • 趋势分析:提供可视化仪表盘,展示用户健康状态随时间的变化曲线,辅助疗效评估。

🛠️ 安装与运行 (Installation)

环境准备

  • OS: Windows 10/11 (推荐)
  • Python: 3.8+
  • GPU: NVIDIA GPU (推荐)

安装步骤

  1. 安装依赖

    bash 复制代码
    pip install -r requirements.txt
  2. 配置大模型
    系统依赖 Ollama 运行 LLaVA 模型:

    bash 复制代码
    ollama pull llava

运行系统

bash 复制代码
python run_web_tongue.py

启动后访问:http://localhost:7860


📝 数据集与模型 (Dataset & Model)

本系统使用专门构建的 Tongue Diagnosis Dataset,识别类别包括:

  • black_tongue_coating: 黑苔
  • map_tongue_coating: 地图舌
  • purple_tongue_coating: 紫舌
  • red_tongue_yellow_fur_thick_greasy_fur: 红舌黄腻苔
  • The_red_tongue_is_thick_and_greasy: 红舌厚腻苔
  • The_white_tongue_is_thick_and_greasy: 白舌厚腻苔

相关推荐
Flynn Liang16 分钟前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE9 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷10 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我10 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0110 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn11 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄12 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下12 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码12 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下13 小时前
langgraph 全栈项目(二)
前端·人工智能·后端