大语言模型工作原理笔记

大语言模型工作原理笔记

一、词向量:表示语言的方式

  • 大语言模型使用词向量来表示单词,每个词向量是由一串数字组成的列表,代表词空间中的一个点。
  • 词空间中,含义相近的词位置更接近,例如"猫"的词向量会靠近"狗"、"小猫"等词向量。
  • 词向量的好处 :
    • 可以进行数值运算,例如"最大" - "大" + "小" = "最小"。
    • 能够捕捉词语之间的微妙关系,例如"瑞士人"与"瑞士"的关系类似于"柬埔寨人"与"柬埔寨"的关系。
    • 可以根据上下文用不同的向量来表示同一个词,解决多义词问题,例如"银行"可以指金融机构或河岸。

二、Transformer:大语言模型的基石

  • Transformer是一种神经网络结构,由多个层组成,每层都接收一系列词向量作为输入,并添加信息以更好地预测下一个词。
  • Transformer 的两个核心处理过程:
    • 注意力机制: 词汇会观察周围,寻找具有相关背景并彼此共享信息的词,并通过查询和关键项链的匹配来传递信息。
    • 潜会层: 每个词会思考之前注意力步骤中收集到的信息,并尝试预测下一个词。
  • 注意力机制 :
    • 可以将其视为单词之间的"撮合服务",每个词会制作查询和关键项链来描述自己和寻找的词,并通过比较找到最佳匹配的词。
    • 拥有注意力头,每个注意力头专注于不同的任务,例如匹配代词和名词、解析多义词等。
  • 潜会层 :
    • 可以访问注意力头提供的上下文信息,并通过模式匹配来预测下一个词。
    • 早期层倾向于匹配特定单词,后期层则匹配更广泛类别的短语。
    • 可以通过向量运算进行推理,例如将国家转化为首都。
  • 注意力机制和潜会层的分工:注意力机制从提示中检索信息,而潜会层让语言模型记住未在提示中出现的信息。

三、训练:让模型学习语言

  • 大语言模型通过预测文本段落中的下一个词来学习,不需要人工标记数据。
  • 训练过程:
    1. 前向传播: 输入文本,检查模型预测的下一个词是否正确。
    2. 反向传播: 根据预测结果调整模型的权重参数,使模型做出更好的预测。
  • 训练需要大量的数据和计算资源,例如 GPT-3 在 5000 亿个单词的语料库上进行训练,需要运行数月才能完成。

四、模型规模与能力:越大越好

  • 研究表明,模型规模越大,在语言任务上的表现越好。
  • 模型规模的增大带来了更强的推理能力,例如 GPT-3 在心智理论任务上的表现接近人类儿童。

五、结论

大语言模型通过学习大量文本数据,能够以惊人的准确度预测下一个词,并展现出一定的推理能力。虽然其内部工作机制尚未被完全理解,但其强大的能力和潜力已不容忽视。

相关推荐
wqfhenanxc5 分钟前
Mixing C++ and Rust for Fun and Profit 阅读笔记
c++·笔记·rust
移远通信10 分钟前
2025上海车展 | 移远通信全栈车载智能解决方案重磅亮相,重构“全域智能”出行新范式
人工智能
豆沙沙包?1 小时前
8.学习笔记-Maven进阶(P82-P89)
笔记·学习·maven
蹦蹦跳跳真可爱5893 小时前
Python----深度学习(基于深度学习Pytroch簇分类,圆环分类,月牙分类)
人工智能·pytorch·python·深度学习·分类
蚂蚁20145 小时前
卷积神经网络(二)
人工智能·计算机视觉
z_mazin7 小时前
反爬虫机制中的验证码识别:类型、技术难点与应对策略
人工智能·计算机视觉·目标跟踪
lixy5797 小时前
深度学习3.7 softmax回归的简洁实现
人工智能·深度学习·回归
youhebuke2257 小时前
利用deepseek快速生成甘特图
人工智能·甘特图·deepseek
訾博ZiBo8 小时前
AI日报 - 2025年04月26日
人工智能
郭不耐8 小时前
DeepSeek智能时空数据分析(三):专业级地理数据可视化赏析-《杭州市国土空间总体规划(2021-2035年)》
人工智能·信息可视化·数据分析·毕业设计·数据可视化·城市规划