八股-大语言模型基础

一、LLM的概念

  1. LLM 大型语言模型:Large Language Models
  2. 主流的开源模型体系都是基于 Transformer 架构:
    • Encoder 在抽取序列中某一个词的特征时能够看到整个序列中所有的信息,即上文和下文同时看到 ;而 Decoder 中因为有 mask 机制的存在,使得它在编码某一个词的特征时只能看到自身和它之前的文本信息。
  3. Prefix/Causal LM:
    • Prefix LM 前缀语言模型:
      • Encoder和Decoder共享了同一个Transformer结构
      • Encoder:AE-自编码 前缀序列中任意两个token都相互可见Auto Encoding
      • Decoder:AR-自回归 待生成的token可以看到Encoder侧所有token(包括上下文)和Decoder侧已经生成的token,但不能看未来尚未产生的token
    • Causal LM 因果语言模型:
      • Decoder:Auto Regressive 自回归
      • GPT
  4. 训练目标:最大化模型生成训练数据中观察到的文本序列的概率
    • 最大似然估计 MLE
  5. 涌现能力:模型在训练过程中能够生成出令人惊喜、创造性和新颖的内容或行为
  6. Decoder only结构
    • Encoder的双向注意力 存在低秩问题,削弱模型表达能力
    • 更好的Zero-Shot性能、更适合于大语料自监督学习
    • 效率:decoder-only支持一直复用KV-Cache,多轮对话更友好,每个Token的表示和之前输入有关
  7. LLMs复读机问题:依赖输入文本的复制
    • 解决: 多样性训练数据、引入噪声、温度参数调整、Beam搜索调整、后处理和过滤、人工干预
  8. Bert通用、LLaMA英文、ChatGLM中英文适用场景
  9. 让大模型处理更长的文本解决方法:
    • 分块、层次建模文本分为段落、句子或子句、部分生成模型生成文本的一部分、引入注意力机制、模型结构优化结构、参数
相关推荐
7177773 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn3 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健4 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道4 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9964 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队5 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术6 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream6 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴7 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区7 小时前
豆包工作,3 个月,800 万,20 亿
人工智能