哔哩哔哩：https://www.bilibili.com/video/BV1Rc411b7ns/
简介
大模型是发展通用人工智能的重要途径。从专用模型（AlphaGo、人脸识别、德州扑克等）到通用大模型，一个模型应对多个任务、多种模态。
书生-浦语大模型
书生-浦语大模型陆续推出：
- InternLM-7B：70亿参数，8k语境，26种语言
- InternLM-20B：200亿参数，4k语境训练，推理可达16k
- InternLM-123B：千亿参数，
从模型到应用
从模型到应用是一个长链条：模型选型-续训/全参数微调（算力足够）-部分参数微调（算力不足，如LoRA）-构建智能体（与外部系统进行交互）-模型评测-模型部署。
全链条开源体系
书生-浦语全链条开源体系：
- 数据：书生-万卷
- 预训练框架：InterLM-Train
- 微调：XTuner
- 部署：LMDeploy
- 应用：Lagent、AgentLego
书生-万卷
50亿文档，1TB数据量
OpenDataLab 开放数据平台：30+模态，80TB数据
InterLM-Train
可扩展
高性能
无缝对接HuggingFace
开箱即用：支持多规格语言模型
XTuner
微调
增量续训：让基座模型学习到一些新知识，如垂直领域知识
训练数据：文字、书籍或代码等。
有监督微调：让模型学会和理解各种指令，或者注入少量领域知识。
训练数据以高质量对话、问答数据为主
XTuner：支持多种微调算法，适配Huggingface、ModelScope的模型或数据集，自动优化加速，适配多种硬件（消费级显卡+数据中心显卡）
OpenCompass
大模型开源评测体系：6个维度进行评测。
主要面向基座模型和对话模型。
LMDeploy
大模型部署LMDeploy：
- 模型并行
- 低比特量化
- Attention优化
- 计算和访存优化
- 持续批处理。
支持模型的轻量化（4bit权重、8bit k/v）、推理(turbomind & pytorch)和服务(open-ai server, gradio, triton inference server)，对外提供python、grpc、restful接口。
Lagent
LLM局限：最新知识获取；回复可靠性；数学计算；工具使用和交互。
使用LLM驱动智能体。
轻量级Lagent框架：
ReAct：根据输入选择工具
ReWoo：根据输入划分计划
AutoGPT：人工干预
支持多种大语言模型，集成了一些工具。
AgentLego
多模态智能体工具箱，聚焦工具集合。
支持多种主流智能体系统，如langchain、transformers agent、Lagent
支持多模态工具调用接口
支持一键式部署。
Lagent案例
短期记忆
推理与计划
长期记忆
环境互动
多智能体写作
Agent不是一个app，它是应用LLM的框架。
计划、行动、反馈、学习
agent架构
LLM for agent（agent对LLM的要求）：
- 逻辑推理能力
- 信息抓取能力
- 指令遵循能力
- 工具使用能力
提示工程思维模型
- 把模型想象成没有任何背景信息的新人 stateless
- 平行宇宙概念模型 model pre-training
- 模型需要文本输出来思考 auto-regressive
工具：code copilot； EasyDict
© 著作权归作者所有,转载或内容合作请联系作者
喜欢的朋友记得点赞、收藏、关注哦！！！