目录
LLM(Large Language Model)大语言模型,指通过海量文本数据训练 能够理解和生成人类语言的深度学习模型。
核心定义
一种基于深度神经网络(如Transformer架构)的模型,通过预训练(Pre-Training)从海量文本中学习语言规律,并能够生成连贯的文本或者完成特定任务(如问答 翻译 写作)
典型代表
- OpenAI的GPT系列(GPT-3.5 GPT-4 GPT-4o)
- google的PaLM
- Meta的LLMA
- DeepSeek的DeepSeekd-R1
核心原理
| 技术要点 | 说明 |
| Transformer架构 | 核心是自注意力机制(Self-Attention),可并行处理长文本并捕捉词语间复杂关系 |
| 预训练+微调 | 先在无标注数据上预训练(学习语言规律),在针对特定任务微调(如客服 编程) |
上下文理解 | 通过输入提示词(Prompt)动态生成相应,支持多轮对话和复杂逻辑推理 |
---|
用途
| 应用场景 | 示例 |
| 文本生成 | 写文章、故事、营销文案、代码等 |
| 问答与对话 | 只能客服、知识库查询(如ChatGPT) |
| 翻译与总结 | 对语言互译,分析数据,编写程序 |
| 逻辑推理 | 解数学题,分析数据,编写程序 |
搜索增强 | 结合知识库生成更准确的安安(如 New Bing) |
---|
优势与局限
优势 | 局限 |
---|---|
**泛化能力强:**无需针对每个任务单独设计模型,通过Prompt即可适配多种场景。 | 幻觉 :可能生成看似合理但是不符合事实的内容(需结合知识库缓解) |
**语言理解深:**能捕捉隐含语言,幽默,比喻等复杂语言现象 | **偏见与安全风险:**训练数据中的偏见可能导致输出不当内容,需要人工审核和干预 |
**持续进化:**通过人类反馈强化学习(RLHF)和微调,逐步提升安全和准确性 | **缺乏真正理解:**本质是统计模式匹配,而非具备人类认知或意识 |
**算力成本高:**训练和运行大模型消耗大量计算资源 |
未来发展方向
**更小、更高效:**优化模型(如 MoE 架构),降低算力
**多模态融合:**结合图像、音频等多维度信息,如 (GPT-4V)
**领域专业化:**针对医疗、法律等垂直领域训练专用模型