AGI(Artifical General Inteligence)的到来还有多久？
- 乐观预测：明年
- 主流预测：3-5年
- 悲观预测：10年
AGI时代，AI无处不在，相关从来者将如何分？
- AI使用者：使用别人开发的AI产品
- AI产品开发者:设计和开发AI产品
- 基础模型相关：训练基础大模型，或为大模型提供基础设施
什么是AI？
基于机器学习、神经网络的是AI，基于规则、搜索的不是AI
AI发展历史？
大模型能干什么？
大模型，全称【大语言模型】，英文【Large Language Model]，缩写LLM
什么是AGI？
- 大模型是就是一个函数，给输入，生成输出
- 任何可以用语言描述的问题，都可以输入给大模型，就能生成问题的结果
- 进而，任何二进制数据，都可以输入给大模型，生成二进制数据
大模型落地的有五个要素？
- 从最熟悉的领域入手
- 找【文本进、文本出】的场景
- 别求大而全。将任务分解，先解决小任务、小场景
- 让AI学最历害的员工的能力，再让它辅助其它的员工，实现降本增效
大模型是如何生结果的？
训练和推理是大模型工作的两个核心过程。
用人类比，训练就是学，推理就是用。学以致用，如是也。
用不严密但通俗的语言描述和推理的原理：
训练
1、大模型阅读了人类说过的所有的话，这就是【机器学习】
2、训练过程中会把不同的token同时出现的概率存入【神经网络】文件。保存的数据就是【参数】，也叫【权重】
推理
1、我们推理程序很多个token，程序会加载大模型权重，算出概率最高的下一个token是什么
2、用生成的token，再加上上文，就能继续生成下一个toke。以此类推，生成更多文字
什么是token?
1、可能是一个英文单词，也可能是半个，三分之一个
2、可能是一个中文词，或者一个汉字，也可能是半个汉字，甚至三分之一个汉字
3、大模型在开训前，需要先训练一个tokenizer模型连续能把所有的文件，切成token