大语言模型打卡学习DAY1

学习目标:

  • 语言模型的发展历程
  • 大模型的技术基础

学习内容:

1. 语言模型的发展历程

复制代码
   `语言模型通常是指能够建模自然语言文本生成概率的模型,从语言建模到任务求解,这是科学思维的一次重要跃升。`

2. 大语言模型技术基础

定义:通常是指具有超大规模参数的预训练语言模型
架构: 主要为Transformer架构
训练:预训练(base model)、后训练(instruct model)


2.1 大语言模型与训练(Pre-training)

定义:使用与下游任务无关的大规模数据进行模型参数的初始训练

2.2 大语言模型后训练(Post-Training)



相关推荐
深圳市益普科技有限公司2 分钟前
半导体智造升级大势所趋!深圳益普科技:以自研工业软件,助力制造业国产化转型
人工智能
Zzz 小生13 分钟前
Lazy Theta*:把昂贵的视线检测留到“真正需要”时再做
人工智能·算法·贪心算法·推荐算法
阿图灵14 分钟前
OpenCV 绘图五件套:画圆、文本、线段、矩形与椭圆
图像处理·人工智能·python·opencv·计算机视觉·绘图
水如烟17 分钟前
孤能子视角:EIS下的宏观、微观时空,以及光速常数与虚空背景
人工智能
slacker-kian22 分钟前
HuggingFace API加载模型超时:用 ModelScopeAPI 替代
人工智能·python·transformer·huggingface·blip·modelscope·blipprocessor
mmsx24 分钟前
用正则把数百个文件抽成知识图谱:三版迭代,从“能用“到“可移植“
人工智能·知识图谱
丰锋ff32 分钟前
设计模式学习笔记
笔记·学习·设计模式
罗西的思考37 分钟前
【OpenClaw具身硬件】ZeroClaw 源码阅读笔记(1)— 总体
人工智能·笔记·深度学习·机器学习
cuguanren43 分钟前
Agent 框架的会话记忆管理机制
人工智能·ai·大模型·llm·agent·上下文管理·会话记忆管理
高工智能汽车1 小时前
从“借船”到“造船”,汽车芯片出海迎历史性一跃
人工智能·汽车