知识增强的大语言模型

王海峰 百度

先从人工智能讲起：

大模型的出现，让人看到AGI的曙光

一是技术通用，二是能力全面

人工智能技术演进：

1. 规则由人工撰写
2. 统计机器学习时代：自动学习，但算法模型仍需结合实际选择
3. 深度学习：算法通用，DNN
4. 大模型时代：模型通用，可以解决多领域问题。

1.1 人工智能技术的通用性

1.任务

NLP

分词 句法分析 文本分类 语义匹配 实体识别

2.语言

1. 自然语言 中文、英文等
2. 形式语言 编程语言，无歧义

3.模态

多模态统一

4.场景

农业 制造 能源 交通 金融 教育等

1.2 人工智能能力的全面性

理解 生成 逻辑 记忆 是 基本能力

生成式模型不仅包括生成能力，同样包括：理解 、逻辑、记忆等能力

2 文心大模型发展历程

基本架构

2.1 基础模型训练

2.2 数据构建与优化

2.3 对齐技术创新

2.4 提示优化

2.5 知识增强

2.6 检索增强

2.7 知识点增强

2.8 对话增强

2.9 智能体

3 人工智能技术栈