前言:
基于公司对LLM落地的期望,此proposal尚未研究完毕,只是简单做了一些消息整合和建议。
关于知识细节详见末尾Refs
背景:
随着LLM(大语言模型)的爆火,不少企业都在寻找通过LLM解决企业业务问题的方法,以达到降本增效的效果。但是,当面对较为复杂的业务问题(如:背景资料多、问题分类多、条件判断复杂、涉及模块多等)时,以LLM当前的发展程度,仅通过简单的LLM对话交互,是无法有效地解决此类问题的,原因在于,LLM也有自身的能力限制,如幻觉、上下文等。
ChatGPT在医学医学知识和医疗应用开发交叉领域中的局限性:
1.1. 缺乏可靠性和准确性:由于ChatGPT是基于大量文本数据训练而成的,它可能会生成一些错误或不合适的内容,需要人类进行核对和修改。
1.2. 缺乏逻辑性和连贯性:由于ChatGPT是基于局部上下文生成内容的,它可能会忽略全局的逻辑结构和主题一致性,需要人类进行调整和补充。
1.3. 缺乏原创性和创新性:由于ChatGPT是基于已有的文本数据生成内容的,它可能会重复或抄袭一些已有的内容,需要人类进行检测和避免。
2、ChatGPT在医学写作中的伦理考虑:分析了ChatGPT在医学写作中涉及到的伦理问题,包括:
2.1. 版权法律问题:使用ChatGPT生成内容可能会侵犯原作者或出版商的版权,需要遵守相关法律规定,并给出合适的引用或声明。
2.2. 医疗法律问题:使用ChatGPT生成内容可能会影响医疗决策或结果,需要承担相应的法律责任,并保证内容的真实性、有效性和安全性。
2.3. AI透明度问题:使用ChatGPT生成内容可能会造成读者或用户对AI来源或质量的不了解或误解,需要提供清晰的标识或说明,并保证内容的可解释性、可信度和可控性。
生物医学领域应用大模型的范式。
由难到易分别是:
- 从头开始预训练(pre-train from scratch)
- 继续训练通用大模型(further pre-train from general LLMs)
- 各种指令/任务微调(instruction tuning, etc)
- 提示词工程(prompt engineering)
细化到单个公司体来说,市面上垂类大预言模型的局限性:
1.有限的上下文窗口
2.组织内的知识信息经常散落在各个系统或文档内,难以统筹管理。
- LLM 缺少特定领域知识
再细化到医疗软件开发人员的痛点:
-
知识整合
-
结构化数据与非结构化数据
-
第三方应用与 API
回到应用范式, 对于公司来说,需要在最短时间内利益最大化。性价比较为高的方式是"各种指令/任务微调(instruction tuning, etc) " 或者 使用 提示词工程(prompt engineering)
一种可能的解决方案:
GPTbot产品提出的RAG(retrieval augmented generation)系统,以FLOW的方式(搭建工作流)将复杂多变的业务问题简化并抽象为多个"节点"和"流程",并通过可视化编排 workflow方式,让多个专职LLM并行/串行工作,各司其职,从而快速地搭建起一个Bot,并立即应用于实际业务问题场景中。