PMC-LLaMA: Towards Building Open-source Language Models for Medicine

本文是LLM系列文章,针对《PMC-LLaMA: Towards Building Open-source Language Models for Medicine》的翻译。

PMC LLaMA:构建医学开源语言模型

摘要

最近,大型语言模型(LLM)在自然语言理解方面展示了非凡的能力。尽管这些模型在日常对话和问答中表现出了熟练程度,但由于缺乏特定领域的知识,它们在需要精确性的领域(如医学应用)中经常会遇到困难。在本文中,我们描述了构建一个专门为医学应用程序设计的强大的开源语言模型的过程,称为PMC LLaMA。我们的贡献有三方面:(i)我们系统地研究了将通用基础语言模型适应医学领域的过程,这包括通过整合480万篇生物医学学术论文和3万本医学教科书,以数据为中心的知识注入,以及与特定领域指令相一致的全面微调;(ii)我们为指令调整提供了一个大规模、全面的数据集。该数据集包括医学问答(QA)、推理原理和对话,共包括202M个token;(iii)我们进行了彻底的消融研究,以证明每个提议组件的有效性。在评估各种公共医疗问答基准时,我们的轻量级PMCLLaMA仅包含130亿个参数,表现出卓越的性能,甚至超过了ChatGPT。所有模型、代码和数据集都可以在https://github.com/chaoyi-wu/PMC-LLaMA找到.

引言

相关工作

问题定义

数据集构造

实验

结果

结论

在本文中,我们系统地研究了在开源大语言模型的基础上建立医学专用大语言模型,包括以数据为中心的知识注入和医学专用指令调整。因此,我们提出的PMC LLaMA是第一个开源的医学专用语言模型,它在各种医学基准测试上表现出优异的性能,超过了ChatGPT和LLaMA-2,参数要少得多。

相关推荐
胖头鱼的鱼缸(尹海文)37 分钟前
数据库管理-第376期 Oracle AI DB 23.26新特性一览(20251016)
数据库·人工智能·oracle
瑞禧生物ruixibio40 分钟前
4-ARM-PEG-Pyrene(2)/Biotin(2),多功能化聚乙二醇修饰荧光标记生物分子的设计与应用探索
arm开发·人工智能
大千AI助手44 分钟前
Huber损失函数:稳健回归的智慧之选
人工智能·数据挖掘·回归·损失函数·mse·mae·huber损失函数
墨利昂1 小时前
10.17RNN情感分析实验:加载预训练词向量模块整理
人工智能·rnn·深度学习
【建模先锋】1 小时前
一区直接写!CEEMDAN分解 + Informer-LSTM +XGBoost组合预测模型
人工智能·lstm·ceemdan·预测模型·风速预测·时间序列预测模型
fsnine1 小时前
YOLOv2原理介绍
人工智能·计算机视觉·目标跟踪
倔强的石头1062 小时前
AI修图革命:IOPaint+cpolar让废片拯救触手可及
人工智能·cpolar·iopaint
文火冰糖的硅基工坊2 小时前
[人工智能-大模型-15]:大模型典型产品对比 - 数字人
人工智能·大模型·大语言模型
JJJJ_iii2 小时前
【机器学习05】神经网络、模型表示、前向传播、TensorFlow实现
人工智能·pytorch·python·深度学习·神经网络·机器学习·tensorflow
William.csj2 小时前
服务器/Pytorch——对于只调用一次的函数初始化,放在for训练外面和里面的差异
人工智能·pytorch·python