评估大语言模型在药物基因组学问答任务中的表现:PGxQA

​这篇文献主要介绍了一个名为PGxQA的资源,用于评估大语言模型(LLM)在药物基因组学问答任务中的表现。

研究背景

药物基因组学(Pharmacogenomics, PGx)是精准医学中最有前景的领域之一,通过基因指导的治疗来提高药物的安全性和疗效。然而,由于缺乏教育和意识,PGx在临床中的应用进展缓慢。大语言模型(LLM)如GPT-4的引入,为开发能够提供及时信息的医疗聊天机器人提供了可能性。

研究目标

研究的主要目标是开发和评估一个名为PGxQA的资源,用于评估LLM在回答PGx相关问题时的表现。该资源旨在帮助临床医生、患者和研究人员更好地理解和利用PGx知识。

方法

自动问题生成:使用Python脚本从CPIC数据库中提取相关信息,并生成问题-答案对。

LLM查询:使用Python脚本将问题发送到本地或远程的LLM服务器,并收集LLM的回答。

手动问题生成:从实际临床和研究环境中收集问题,并手动整理成问题-答案对。

自动评分:开发了一系列自动评分函数来评估LLM的表现,包括数值评分、信息检索评分和文本相似度评分。

人工评审:招募PGx专家对LLM的回答进行人工评审,评估其准确性、完整性和安全性。

结果

自动评分结果:GPT-4在大多数评分指标上表现优异,特别是在数值回答和信息检索任务中表现出色。

人工评审结果:GPT-4的回答在准确性、完整性和安全性方面得分较高,但在某些问题上仍存在错误或危险的回答。

讨论

研究指出,LLM在处理PGx查询时存在一些局限性,如对数值回答的准确性较差、容易生成虚假信息等。为了解决这些问题,提出了几种改进方法,包括提示工程、微调和检索增强生成(RAG)。

结论

PGxQA为评估LLM在PGx任务中的表现提供了一个框架,并展示了GPT-4在这一领域的潜力。未来的研究将继续改进这一框架,以确保LLM在临床环境中的应用更加安全和有效。

欢迎关注"赛文AI药学"!

赛文AI药学,致力于探索人工智能在药学场景中的创新与应用,聚焦药师的AI赋能与专业素养提升。我们提供前沿的AI技术动态、实用的药学场景案例分享以及个性化学习资源,助力药师在智能化时代实现价值跃升。

相关推荐
B站计算机毕业设计超人19 分钟前
计算机毕业设计PySpark+Hadoop中国城市交通分析与预测 Python交通预测 Python交通可视化 客流量预测 交通大数据 机器学习 深度学习
大数据·人工智能·爬虫·python·机器学习·课程设计·数据可视化
学术头条23 分钟前
清华、智谱团队:探索 RLHF 的 scaling laws
人工智能·深度学习·算法·机器学习·语言模型·计算语言学
18号房客28 分钟前
一个简单的机器学习实战例程,使用Scikit-Learn库来完成一个常见的分类任务——**鸢尾花数据集(Iris Dataset)**的分类
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·sklearn
feifeikon31 分钟前
机器学习DAY3 : 线性回归与最小二乘法与sklearn实现 (线性回归完)
人工智能·机器学习·线性回归
游客52033 分钟前
opencv中的常用的100个API
图像处理·人工智能·python·opencv·计算机视觉
古希腊掌管学习的神35 分钟前
[机器学习]sklearn入门指南(2)
人工智能·机器学习·sklearn
凡人的AI工具箱1 小时前
每天40分玩转Django:Django国际化
数据库·人工智能·后端·python·django·sqlite
咸鱼桨1 小时前
《庐山派从入门到...》PWM板载蜂鸣器
人工智能·windows·python·k230·庐山派
强哥之神2 小时前
Nexa AI发布OmniAudio-2.6B:一款快速的音频语言模型,专为边缘部署设计
人工智能·深度学习·机器学习·语言模型·自然语言处理·音视频·openai
yusaisai大鱼2 小时前
tensorflow_probability与tensorflow版本依赖关系
人工智能·python·tensorflow