大语言模型打卡学习DAY1

学习目标:

  • 语言模型的发展历程
  • 大模型的技术基础

学习内容:

1. 语言模型的发展历程

复制代码
   `语言模型通常是指能够建模自然语言文本生成概率的模型,从语言建模到任务求解,这是科学思维的一次重要跃升。`

2. 大语言模型技术基础

定义:通常是指具有超大规模参数的预训练语言模型
架构: 主要为Transformer架构
训练:预训练(base model)、后训练(instruct model)


2.1 大语言模型与训练(Pre-training)

定义:使用与下游任务无关的大规模数据进行模型参数的初始训练

2.2 大语言模型后训练(Post-Training)



相关推荐
亚马逊云开发者10 分钟前
准确率从 19% 提升至 95%!文本审核模型优化的三个阶段实践(下)
人工智能
盛寒11 分钟前
词法分析和词性标注 自然语言处理
人工智能·自然语言处理
计算机集成_11 分钟前
具身智能之人形机器人核心零部件介绍
人工智能·经验分享·机器人
新智元23 分钟前
苹果 OS 全家桶 12 年最狠升级!AI 入侵一切,唯独 Siri 没更
人工智能·openai
我是初九24 分钟前
【李沐-动手学深度学习v2】1.Colab学习环境配置
人工智能·python·学习·colab
KENYCHEN奉孝38 分钟前
Django 5 学习笔记总纲
笔记·学习·django
T06205141 小时前
【实证分析】上市公司企业风险承担水平数据集(2000-2022年)
大数据·人工智能
电报号dapp1191 小时前
全链游戏模式:自治世界与AI增强型交互
人工智能·游戏·web3·去中心化·区块链·智能合约
不爱学英文的码字机器1 小时前
持续交付的进化:从DevOps到AI驱动的IT新动能
运维·人工智能·devops
Vertira1 小时前
如何在 PyTorch 中自定义卷积核参数(亲测,已解决)
人工智能·pytorch·python