大语言模型工作原理笔记

大语言模型工作原理笔记

一、词向量:表示语言的方式

  • 大语言模型使用词向量来表示单词,每个词向量是由一串数字组成的列表,代表词空间中的一个点。
  • 词空间中,含义相近的词位置更接近,例如"猫"的词向量会靠近"狗"、"小猫"等词向量。
  • 词向量的好处 :
    • 可以进行数值运算,例如"最大" - "大" + "小" = "最小"。
    • 能够捕捉词语之间的微妙关系,例如"瑞士人"与"瑞士"的关系类似于"柬埔寨人"与"柬埔寨"的关系。
    • 可以根据上下文用不同的向量来表示同一个词,解决多义词问题,例如"银行"可以指金融机构或河岸。

二、Transformer:大语言模型的基石

  • Transformer是一种神经网络结构,由多个层组成,每层都接收一系列词向量作为输入,并添加信息以更好地预测下一个词。
  • Transformer 的两个核心处理过程:
    • 注意力机制: 词汇会观察周围,寻找具有相关背景并彼此共享信息的词,并通过查询和关键项链的匹配来传递信息。
    • 潜会层: 每个词会思考之前注意力步骤中收集到的信息,并尝试预测下一个词。
  • 注意力机制 :
    • 可以将其视为单词之间的"撮合服务",每个词会制作查询和关键项链来描述自己和寻找的词,并通过比较找到最佳匹配的词。
    • 拥有注意力头,每个注意力头专注于不同的任务,例如匹配代词和名词、解析多义词等。
  • 潜会层 :
    • 可以访问注意力头提供的上下文信息,并通过模式匹配来预测下一个词。
    • 早期层倾向于匹配特定单词,后期层则匹配更广泛类别的短语。
    • 可以通过向量运算进行推理,例如将国家转化为首都。
  • 注意力机制和潜会层的分工:注意力机制从提示中检索信息,而潜会层让语言模型记住未在提示中出现的信息。

三、训练:让模型学习语言

  • 大语言模型通过预测文本段落中的下一个词来学习,不需要人工标记数据。
  • 训练过程:
    1. 前向传播: 输入文本,检查模型预测的下一个词是否正确。
    2. 反向传播: 根据预测结果调整模型的权重参数,使模型做出更好的预测。
  • 训练需要大量的数据和计算资源,例如 GPT-3 在 5000 亿个单词的语料库上进行训练,需要运行数月才能完成。

四、模型规模与能力:越大越好

  • 研究表明,模型规模越大,在语言任务上的表现越好。
  • 模型规模的增大带来了更强的推理能力,例如 GPT-3 在心智理论任务上的表现接近人类儿童。

五、结论

大语言模型通过学习大量文本数据,能够以惊人的准确度预测下一个词,并展现出一定的推理能力。虽然其内部工作机制尚未被完全理解,但其强大的能力和潜力已不容忽视。

相关推荐
智者知已应修善业1 小时前
【51单片机用数码管显示流水灯的种类是按钮控制数码管加一和流水灯】2022-6-14
c语言·经验分享·笔记·单片机·嵌入式硬件·51单片机
m0_751336391 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk4 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
孞㐑¥4 小时前
Linux之Socket 编程 UDP
linux·服务器·c++·经验分享·笔记·网络协议·udp
DeepSeek-大模型系统教程4 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝4 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion6 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周6 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
sealaugh327 小时前
aws(学习笔记第四十八课) appsync-graphql-dynamodb
笔记·学习·aws
叶子爱分享7 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉