PMC-LLaMA: Towards Building Open-source Language Models for Medicine

本文是LLM系列文章,针对《PMC-LLaMA: Towards Building Open-source Language Models for Medicine》的翻译。

PMC LLaMA:构建医学开源语言模型

摘要

最近,大型语言模型(LLM)在自然语言理解方面展示了非凡的能力。尽管这些模型在日常对话和问答中表现出了熟练程度,但由于缺乏特定领域的知识,它们在需要精确性的领域(如医学应用)中经常会遇到困难。在本文中,我们描述了构建一个专门为医学应用程序设计的强大的开源语言模型的过程,称为PMC LLaMA。我们的贡献有三方面:(i)我们系统地研究了将通用基础语言模型适应医学领域的过程,这包括通过整合480万篇生物医学学术论文和3万本医学教科书,以数据为中心的知识注入,以及与特定领域指令相一致的全面微调;(ii)我们为指令调整提供了一个大规模、全面的数据集。该数据集包括医学问答(QA)、推理原理和对话,共包括202M个token;(iii)我们进行了彻底的消融研究,以证明每个提议组件的有效性。在评估各种公共医疗问答基准时,我们的轻量级PMCLLaMA仅包含130亿个参数,表现出卓越的性能,甚至超过了ChatGPT。所有模型、代码和数据集都可以在https://github.com/chaoyi-wu/PMC-LLaMA找到.

引言

相关工作

问题定义

数据集构造

实验

结果

结论

在本文中,我们系统地研究了在开源大语言模型的基础上建立医学专用大语言模型,包括以数据为中心的知识注入和医学专用指令调整。因此,我们提出的PMC LLaMA是第一个开源的医学专用语言模型,它在各种医学基准测试上表现出优异的性能,超过了ChatGPT和LLaMA-2,参数要少得多。

相关推荐
阿_旭几秒前
目标检测中COCO评估指标中每个指标的具体含义说明:AP、AR
人工智能·目标检测·coco评估指标
热爱运维的小七7 分钟前
从数据透视到AI分析,用四层架构解决运维难题
运维·人工智能·架构
卧式纯绿18 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95524 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网1 小时前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人