241121学习日志——[CSDIY] [InternStudio] 大模型训练营 [11]

CSDIY:这是一个非科班学生的努力之路,从今天开始这个系列会长期更新,(最好做到日更),我会慢慢把自己目前对CS的努力逐一上传,帮助那些和我一样有着梦想的玩家取得胜利!!!

第一弹:Cpp零基础学习【30 DAYS 从0到1】

第二弹:Cpp刷题文档【LeetCode】

第三弹:Go开发入门【字节后端青训营】

第四弹:Cpp简单项目开发【黑马Rookie】

第五弹:数据结构绪论【数据结构与算法】

第六弹:Go工程实践【字节后端青训营】

第七弹:高质量编程和性能调优【字节后端青训营】

第八弹:Linux 基础知识【书生大模型训练营】

第九弹:Git 基础知识【书生大模型训练营】

第十弹:玩转HF/魔搭/魔乐社区【书生大模型训练营】

第十一弹:书生大模型全链路开源体系【书生大模型训练营】

第1关 L1G1000 书生大模型全链路开源体系

书生 · 浦语大模型开源开放体系

书生 · 浦语 (InterLM) 开源一周年

InterLM2.5 概览

  • 推理能力领先
  • 支持100万字上下文
  • 自主规划和搜索完成复杂任务

核心技术思路

相似度对齐、预训练、...

  • 基于规则的数据构造
  • 基于模型的数据扩充
  • 基于反馈的数据生成

融合多种数据合成方案

100万 Token 上下文

大海捞针实验:在超长文本输入中,能否精准找到任何位置的任何信息。

基于规划和搜索解决复杂任务

解决方式:思维路径拆解,分解子问题

开源谱系

  • 1.8B、7B、20B、102B

  • InterLM - XComposer - 文本多模态

  • InterLM - Math - 数学

  • InterLM - WOX - 高考

全链条开源体系

  • 数据 书生·万卷 语料库

  • 预训练 InternEvo 训练框架

    • 分布式训练系统
  • 微调 XTuner

    • 微调、偏好对齐算法
    • 自动优化加速
  • 评测 OpenCompass

    • 工具、社区...
  • 部署 LMDeploy

    • Weight-only量化、...
  • 应用

    • LLM --->智能体
    • 智能体 Legent
      • 零样本泛化:多模态 AI 工具使用
    • 智能体 MindSearch
      • 模拟人脑思维导图搜索
    • 智能体 HuixiangDou
      • 企业级
      • 开源、安全、...

碎碎念:入门岛通关,进军基础岛。坚持。

与君共勉。

相关推荐
爱喝水的鱼丶9 分钟前
SAP-ABAP:SAP 简单报表输出开发系列(共6篇)第三篇:SAP ALV 报表样式定制:字段布局与交互功能配置
服务器·开发语言·学习·交互·sap·abap
很楠爱上14 分钟前
Node.js 模块化学习笔记
笔记·学习·node.js
毕竟是shy哥24 分钟前
CLIP:从自然语言监督中学习可迁移的视觉模型
学习
川石课堂软件测试29 分钟前
作为一名测试工程师如何学习Kubernetes(k8s)技能
学习·测试工具·容器·职场和发展·kubernetes·测试用例·harmonyos
tryqaaa_37 分钟前
学习日志(五)【php反序列化全加例题】【pop链,字符逃逸,session,伪协议】
android·学习·php·web·pop·session
li星野43 分钟前
FastAPI 参数详解:路径参数、查询参数与请求体 —— 从入门到实战
服务器·学习·fastapi
承渊政道1 小时前
【MySQL数据库学习】(MySQL数据类型)
数据库·学习·mysql·ubuntu·bash·数据库开发·数据库系统
WangX-西石油1 小时前
DVWA靶场Low级别Brute Force学习
学习·web安全·网络安全
段一凡-华北理工大学1 小时前
工业领域的Hadoop架构学习~系列文章08:Flink流处理引擎
人工智能·hadoop·学习·架构·flink·高炉炼铁·高炉炼铁智能化
海鸥-w1 小时前
前端学习python第三天笔记整理(list 列表,str字符串,tuple元组,set集合,dect,函数,类型注解)
前端·python·学习