AI大模型初识(一):AI大模型的底层原理与技术演进

AI大模型的底层原理与技术演进

一、ChatGPT引发的产业变革
  • 关键事件 :2022年11月30日OpenAI发布ChatGPT
    • 历史性突破:2个月内日活用户破亿(超越TikTok 9个月记录)
    • 产业影响
      • 推动AI从决策式/分析式AI (基于规则的分析预测)向生成式AI(创造性内容生成)演化
      • 通用大模型基座爆发:华为盘古、阿里通义、百度文心、腾讯混元等
      • 行业应用深化:教育领域智能辅导、汽车业自动驾驶模型、金融风控系统
    • 对话应用生态
      • 国际:Anthropic的Claude、Google Bard、Microsoft Copilot
      • 国内:文心一言、通义千问、腾讯元宝
二、AI技术范式迁移
技术类型 核心逻辑 典型案例
决策式AI 学习历史数据规律 → 预测结果 银行风控系统、商品推荐引擎
生成式AI 学习数据分布规律 → 创造新内容 ChatGPT写作、AI绘图

🔍 技术跃迁 :生成式AI突破"预测"局限,实现创造性输出,需依赖大参数量模型(如GPT-3含1750亿参数)

三、大模型训练三阶段核心技术
1. 预训练(Pre-training)
  • 核心任务:无监督学习海量文本的语法/语义规律
  • 数据要求
    • 来源:书籍、论文、社交媒体等(如GPT-3用3000亿Token数据)
    • Token解释 :文本处理基本单元(1英文单词≈1.2 Token)
      示例:单词"Tokenization"拆分为"Token"+"ization"两个Token
  • 向量嵌入(Embedding)技术
    • 作用:将Token映射为高维向量(如GPT-3的12,288维向量)
    • 原理:语义相近的词在向量空间中距离更近
      技术价值:使模型区分不同语境中的"苹果"(水果:向量坐标[0.3,1.2],品牌:[5.7,-2.1])
2. 微调(Fine-tuning)
  • 监督微调(SFT)
    • 输入专业对话数据(问题+标准答案)
    • 目标:使基座模型掌握对话逻辑(如准确回答"长沙是湖南省省会")
  • 强化学习(RLHF)
    • 人类标注员对模型输出评分 → 优化回答质量
3. 推理(Inference)
  • 生成机制 :基于上下文概率预测下一个Token

    • 流程:输入文本 → Token化 → 向量转换 → 概率计算 → 输出Token
  • 概率计算原理

    输入 可能输出 概率 计算依据
    "I like" bananas 66.7% 训练数据中"bananas"出现频次更高
    oranges 33.3%
四、Transformer革命性架构
  • 自注意力机制(Self-Attention)
    • 作用:动态计算词间关联权重
      示例:句子"The animal didn't cross the street because it was too tired"中,模型计算"it"与"animal"关联权重(0.9)远高于"street"(0.1)
    • 层叠结构价值
      • GPT-3含96层Transformer
      • 分层理解:底层解歧义(语法)、高层抓逻辑(语义)
      • 处理流程:输入文本 → Transformer层1 → ... → 层96 → 输出预测
五、技术局限与突破方向
  • 幻觉(Hallucination)问题
    • 根源:概率生成机制缺乏现实认知(如编造历史事件)
    • 解决方案
      1. 检索增强生成(RAG):连接知识库实时校验事实
      2. 多模态训练:融合文本/图像/视频数据提升世界认知
      3. 扩大训练规模:使用更多高质量训练数据

关键术语表

术语 定义
Token 文本分割基本单元,中文以词/字为单位,英文以词根/单词为单位
Embedding 将离散符号映射为连续向量的技术,通过向量距离反映语义关联度
Transformer 基于自注意力机制的神经网络,支持并行处理长序列数据
RLHF 基于人类反馈的强化学习(Reinforcement Learning from Human Feedback)
自注意力机制 动态计算输入序列中各元素相关性的算法,使模型聚焦关键信息
相关推荐
X Y O10 分钟前
神经网络初步学习3——数据与损失
人工智能·神经网络·学习
唯创知音27 分钟前
玩具语音方案选型决策OTP vs Flash 的成本功耗与灵活性
人工智能·语音识别
Jamence29 分钟前
多模态大语言模型arxiv论文略读(151)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
tongxianchao33 分钟前
LaCo: Large Language Model Pruning via Layer Collapse
人工智能·语言模型·剪枝
HyperAI超神经1 小时前
OmniGen2 多模态推理×自我纠正双引擎,引领图像生成新范式;95 万分类标签!TreeOfLife-200M 解锁物种认知新维度
人工智能·数据挖掘·数据集·图像生成·医疗健康·在线教程·数学代码
网安INF1 小时前
深度学习中批标准化与神经网络调优
人工智能·深度学习·神经网络·机器学习
开开心心_Every1 小时前
便捷的电脑自动关机辅助工具
开发语言·人工智能·pdf·c#·电脑·音视频·sublime text
EnochChen_1 小时前
多实例学习简介
人工智能
路溪非溪1 小时前
Tensorflow的安装记录
人工智能·tensorflow·neo4j
jndingxin2 小时前
OpenCV 人脸分析----人脸识别的一个经典类cv::face::EigenFaceRecognizer
人工智能·opencv·计算机视觉