书生.浦江大模型实战训练营——(四)书生·浦语大模型全链路开源开放体系

最近在学习书生.浦江大模型实战训练营,所有课程都免费,以关卡的形式学习,也比较有意思,提供免费的算力实战,真的很不错(无广 )!欢迎大家一起学习,打开LLM探索大门:邀请连接PS,邀请有算力哈哈

任务

观看本关卡的视频官网后,写下关于书生大模型全链路开源开放体系的笔记。

书生·浦语大模型全链路开源开放体系

视频时长约30分钟,内容涵盖了书生·浦语大模型的全链路开发体系及其关键技术,学到的东西很多。接下来我会继续研究知识图谱、检索增强生成以及基于图神经网络的长文本处理,期待大家一起交流!以下是对此视频内容的详细总结。

一、体系概述

书生·浦语大模型全链路开源开放体系旨在构建一个包括数据收集、模型训练、微调、评测以及AI应用部署的完整生态。通过开源代码和项目,推动了人工智能的普及与实际应用,使得研究者和开发者能更高效地利用和开发基于大模型的应用。

二、发展历程

  1. 开源开放体系的建立:书生·浦语大模型自始便重视开源,通过发布开源项目吸引了众多开发者和研究者的参与。这种开放的形式加快了模型的迭代与优化。

  2. 数据收集与整理:该模型在数据驱动的过程中,采用多种数据生成方式,包括基于规则、模型以及反馈的数据生成。这提高了数据的多样性,增强了模型的推理能力及短期记忆。

  3. 反馈机制的引入:引入相似度对齐与基于反馈的强化训练后,模型在理解用户需求方面的表现有所提升,进而提高了准确性和用户满意度。

三、最新版本特性:书生·浦语大模型2.5

  1. 性能提升:在最新版本的书生·浦语大模型2.5中,推理能力和短期记忆等方面得到了显著提升,从而在处理复杂问题时更快速且准确。

  2. Label LLM项目开源:为了简化数据标注过程,书生团队开源了Label LLM项目,提供了高效的数据标注解决方案,进而促进后续模型的训练和优化。

  3. 性能评测体系:视频中的性能天梯展示了通过各种评测工具对模型进行实时性能监测和比较的方法,为模型的持续优化提供了依据。

以下是一段简单的internLM推理代码示例:

python 复制代码
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name_or_path = "/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()

system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""

messages = [(system_prompt, '')]

print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")

while True:
    input_text = input("\nUser  >>> ")
    input_text = input_text.replace(' ', '')
    if input_text == "exit":
        break

    length = 0
    for response, _ in model.stream_chat(tokenizer, input_text, messages):
        if response is not None:
            print(response[length:], flush=True, end="")
            length = len(response)

希望这些内容能对大家理解书生·浦语大模型有所帮助!

相关推荐
我是Superman丶7 小时前
【二开】CRMEB开源版按钮权限控制
开源
能不能别报错7 小时前
K8s学习笔记(二):Pod
笔记·学习·kubernetes
呱呱巨基8 小时前
C/C++ 内存管理
c++·笔记·学习
jingling5558 小时前
uniapp | 快速上手ThorUI组件
前端·笔记·前端框架·uni-app
lingggggaaaa9 小时前
小迪安全v2023学习笔记(八十二讲)—— Java组件安全&Solr&Shiro&Log4j&CVE复现
笔记·学习·安全
好望角雾眠9 小时前
第四阶段C#通讯开发-1:通讯基础理论,串口,通讯模式,单位转换,代码示例
开发语言·笔记·c#·串口·通讯
coder_lorraine10 小时前
Drawnix:开源一体化白板工具,让你的创意无限流动!
开源·流程图
贝塔实验室11 小时前
两种常用的抗单粒子翻转动态刷新方法
论文阅读·经验分享·笔记·科技·学习·程序人生·fpga开发
范纹杉想快点毕业17 小时前
ZYNQ PS 端 UART 接收数据数据帧(初学者友好版)嵌入式编程 C语言 c++ 软件开发
c语言·笔记·stm32·单片机·嵌入式硬件·mcu·51单片机
茯苓gao20 小时前
STM32G4 电流环闭环
笔记·stm32·单片机·嵌入式硬件·学习