NLP基础知识4【CRF】

目录

基本原理

  • X是输入文本(观测序列)
  • y是输出标签(状态序列)
    特点:
  • 每个状态都可以 由整个 观测序列决定,与 x 1 , x 2 , . . . . . x n {x_1,x_2,.....x_n} x1,x2,.....xn都相关,实际上一般是上下文10个token就可以了。
  • 对每一个状态y仅与相邻状态 y i − 1 , y i + 1 y_{i-1},y_{i+1} yi−1,yi+1相关
    # 公式
  • 通过公式对条件概率进行建模,对于已知概率的观测序列X,求其发生的情况下,各个序列y的发生概率。
  • t j t_j tj是转移特征函数,主要衡量相邻状态 y之间的影响,同时可以与x相关联
  • s k s_k sk是状态特征函数,主要衡量观测序列 x对状态变量的影响
  • λ \lambda λ和 μ \mu μ是对应特征函数的权重
  • exp用于定义模型中的概率分布函数
  • Z是规范化因子,用于确保式子是一个概率

过程

CRF模型完全由特征函数和权重决定:

  • 训练阶段(编码)用优化算法迭代,调个包就行
  • 预测阶段(解码) 使用维特比算法(动态规划,类似广度优先搜索),寻找概率最高的标签路径
    • 使用暴力搜索不可能,使用贪心算法未必是全局最优


PS

转移矩阵 (Transition Matrix):

  • 这是CRF模型中的一个矩阵,用于表示从一个状态(或标签)转移到另一个状态的概率。对于序列标注任务来说,状态可以是不同的标签(如B(开头)、I(中间)、O(其他)),转移矩阵告诉模型在给定前一个标签后,下一个标签出现的可能性有多大。

发射矩阵 (Emission Matrix):

  • 发射矩阵用于表示观察到某个状态下特定观察值的概率。在序列标注中,观察值通常是输入的词语或特征,而状态则是对应的标签。发射矩阵告诉模型在给定一个标签时,观察到具体词语的概率。

得分矩阵 (Score Matrix):

  • 得分矩阵是指CRF模型为每个可能的标签序列分配的分数。这些分数基于转移矩阵和发射矩阵的组合计算得出,通常利用动态规划算法(如维特比算法)来确定最佳的标签序列。
相关推荐
VIP_CQCRE2 分钟前
GPT Image 2.6 选型别只看首张:用盲评与合格图耗时比较 Flare、Sunburst
软件测试·图像处理·人工智能
程序员cxuan21 分钟前
REA 靠边站,逆向圈又一新王诞生了
人工智能·后端·程序员
AI算力23 分钟前
企业调研——工业边缘计算隐形黑马,腾视科技以“硬件+算法”加速出海落地!
人工智能·ai·边缘计算·ai算力·无人叉车·物理ai·ainas
Csvn42 分钟前
所有问题都喂最贵的模型?规则路由实测:30 个问题里 16 个能交给便宜模型(C03)
人工智能·aigc·agent
网易云信1 小时前
再也不用做 AI 的“传话筒”了:拆解云信 SynergyHub 的 Agent 协作工作流
人工智能
真上帝的左手1 小时前
26. AI-Agent-技术架构:Harness、Runtime、Orchestrator、Framework
人工智能·架构·agent·ai编程·智能体
甲维斯1 小时前
GPT6.2Astra“卖家秀”!擅长领域汇总!
人工智能
回眸&啤酒鸭1 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
AI小怪兽1 小时前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
峯5801 小时前
机器学习05,用 scikit-learn 做加州房价预测的完整入门工程
人工智能·机器学习·scikit-learn