PMC-LLaMA: Towards Building Open-source Language Models for Medicine

本文是LLM系列文章,针对《PMC-LLaMA: Towards Building Open-source Language Models for Medicine》的翻译。

PMC LLaMA:构建医学开源语言模型

摘要

最近,大型语言模型(LLM)在自然语言理解方面展示了非凡的能力。尽管这些模型在日常对话和问答中表现出了熟练程度,但由于缺乏特定领域的知识,它们在需要精确性的领域(如医学应用)中经常会遇到困难。在本文中,我们描述了构建一个专门为医学应用程序设计的强大的开源语言模型的过程,称为PMC LLaMA。我们的贡献有三方面:(i)我们系统地研究了将通用基础语言模型适应医学领域的过程,这包括通过整合480万篇生物医学学术论文和3万本医学教科书,以数据为中心的知识注入,以及与特定领域指令相一致的全面微调;(ii)我们为指令调整提供了一个大规模、全面的数据集。该数据集包括医学问答(QA)、推理原理和对话,共包括202M个token;(iii)我们进行了彻底的消融研究,以证明每个提议组件的有效性。在评估各种公共医疗问答基准时,我们的轻量级PMCLLaMA仅包含130亿个参数,表现出卓越的性能,甚至超过了ChatGPT。所有模型、代码和数据集都可以在https://github.com/chaoyi-wu/PMC-LLaMA找到.

引言

相关工作

问题定义

数据集构造

实验

结果

结论

在本文中,我们系统地研究了在开源大语言模型的基础上建立医学专用大语言模型,包括以数据为中心的知识注入和医学专用指令调整。因此,我们提出的PMC LLaMA是第一个开源的医学专用语言模型,它在各种医学基准测试上表现出优异的性能,超过了ChatGPT和LLaMA-2,参数要少得多。

相关推荐
Dovis(誓平步青云)2 分钟前
深挖 DeepSeek 隐藏玩法·智能炼金术2.0版本
人工智能·深度学习·机器学习·数据挖掘·服务发现·智慧城市
陈明勇4 分钟前
一文掌握 MCP 上下文协议:从理论到实践
人工智能·后端·mcp
zskj_zhyl6 分钟前
智绅科技全场景智慧养老系统:助力老年人畅享幸福晚年
人工智能·科技
weixin_3875456413 分钟前
探索 GitHub Copilot:当 AI 成为你的贴身编码助手
人工智能·github·copilot
zidea13 分钟前
我和我的 AI Agent(1) 异步优先、结构化输出以及如何处理依赖
人工智能·python·trae
ZTLJQ15 分钟前
基于机器学习的三国时期诸葛亮北伐失败因素量化分析
人工智能·算法·机器学习
赵钰老师1 小时前
【Deepseek、ChatGPT】智能气候前沿:AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·数据分析
AIGC-Lison1 小时前
【CSDN首发】Stable Diffusion从零到精通学习路线分享
人工智能·ai·stable diffusion·aigc·sd
AI绘画咪酱1 小时前
Stable Diffusion|Ai赋能电商 Inpaint Anything
人工智能·ai·ai作画·stable diffusion·sd·ai教程·sd教程
ruokkk1 小时前
Spring AI MCP 客户端实战:轻松连接高德地图等工具
人工智能