书生大模型全链路开源体系

哔哩哔哩:https://www.bilibili.com/video/BV1Rc411b7ns/

简介

大模型是发展通用人工智能的重要途径。从专用模型(AlphaGo、人脸识别、德州扑克等)到通用大模型,一个模型应对多个任务、多种模态。

书生-浦语大模型

书生-浦语大模型陆续推出:

  • InternLM-7B:70亿参数,8k语境,26种语言
  • InternLM-20B:200亿参数,4k语境训练,推理可达16k
  • InternLM-123B:千亿参数,

从模型到应用

从模型到应用是一个长链条:模型选型-续训/全参数微调(算力足够)-部分参数微调(算力不足,如LoRA)-构建智能体(与外部系统进行交互)-模型评测-模型部署。

全链条开源体系

书生-浦语全链条开源体系:

  • 数据:书生-万卷
  • 预训练框架:InterLM-Train
  • 微调:XTuner
  • 部署:LMDeploy
  • 应用:Lagent、AgentLego

书生-万卷

50亿文档,1TB数据量

OpenDataLab 开放数据平台:30+模态,80TB数据

InterLM-Train

可扩展

高性能

无缝对接HuggingFace

开箱即用:支持多规格语言模型

XTuner

微调

增量续训:让基座模型学习到一些新知识,如垂直领域知识

训练数据:文字、书籍或代码等。

有监督微调:让模型学会和理解各种指令,或者注入少量领域知识。

训练数据以高质量对话、问答数据为主

XTuner:支持多种微调算法,适配Huggingface、ModelScope的模型或数据集,自动优化加速,适配多种硬件(消费级显卡+数据中心显卡)

OpenCompass

大模型开源评测体系:6个维度进行评测。

主要面向基座模型和对话模型。

LMDeploy

大模型部署LMDeploy:

  • 模型并行
  • 低比特量化
  • Attention优化
  • 计算和访存优化
  • 持续批处理。

支持模型的轻量化(4bit权重、8bit k/v)、推理(turbomind & pytorch)和服务(open-ai server, gradio, triton inference server),对外提供python、grpc、restful接口。

Lagent

LLM局限:最新知识获取;回复可靠性;数学计算;工具使用和交互。

使用LLM驱动智能体。

轻量级Lagent框架:

ReAct:根据输入选择工具

ReWoo:根据输入划分计划

AutoGPT:人工干预

支持多种大语言模型,集成了一些工具。

AgentLego

多模态智能体工具箱,聚焦工具集合。

支持多种主流智能体系统,如langchain、transformers agent、Lagent

支持多模态工具调用接口

支持一键式部署。

Lagent案例

短期记忆

推理与计划

长期记忆

环境互动

多智能体写作

Agent不是一个app,它是应用LLM的框架。

计划、行动、反馈、学习

agent架构

LLM for agent(agent对LLM的要求):

  • 逻辑推理能力
  • 信息抓取能力
  • 指令遵循能力
  • 工具使用能力

提示工程思维模型

  • 把模型想象成没有任何背景信息的新人 stateless
  • 平行宇宙概念模型 model pre-training
  • 模型需要文本输出来思考 auto-regressive

工具:code copilot; EasyDict
© 著作权归作者所有,转载或内容合作请联系作者

喜欢的朋友记得点赞、收藏、关注哦!!!

相关推荐
代码之光_198013 分钟前
保障性住房管理:SpringBoot技术优势分析
java·spring boot·后端
ajsbxi19 分钟前
苍穹外卖学习记录
java·笔记·后端·学习·nginx·spring·servlet
鹿屿二向箔42 分钟前
基于SSM(Spring + Spring MVC + MyBatis)框架的咖啡馆管理系统
spring·mvc·mybatis
戴眼镜的猴1 小时前
Spring Boot的过滤器与拦截器的区别
spring boot
NoneCoder2 小时前
Java企业级开发系列(1)
java·开发语言·spring·团队开发·开发
尘浮生2 小时前
Java项目实战II基于Spring Boot的光影视频平台(开发文档+数据库+源码)
java·开发语言·数据库·spring boot·后端·maven·intellij-idea
尚学教辅学习资料2 小时前
基于SpringBoot的医药管理系统+LW示例参考
java·spring boot·后端·java毕业设计·医药管理
morris1313 小时前
【SpringBoot】Xss的常见攻击方式与防御手段
java·spring boot·xss·csp
我要洋人死3 小时前
导航栏及下拉菜单的实现
前端·css·css3
阿伟*rui6 小时前
配置管理,雪崩问题分析,sentinel的使用
java·spring boot·sentinel