NLP英文分词

词级分词(word level)

词级分词是指将文本按词语切分。是最传统、最直观的分词方式。英文中,空格和标点往往是天然的分隔符。

分词效果如下:

缺陷 :

词级分词,在实际应用中,容易出现未知词(Out of Vocabulary)问题。例如此表中已有

复制代码
I love you he her ...

如果分词中突然出现个chatGPT,模型就无法识别到这个词。只能用UNK标记。使用字符级分词,就不会有这个问题。如下。

字符级分词 (character level)

字符级分词,是以单个字符为最小单元的分词方法。文本中的每一个字母、数字、标点甚至空格,都被视作一个独立的token。效果如下:

这种分词方式不会有oov问题。

缺陷 :

单个字符语义信息极弱,输入序列长度大大增加。

子词级分词 (subword level)

子词分词,是基于词级分词和字符级分词之间的一种分词方法。它将词语切分成更小的单元:子词(subword),例如:词根、前缀、后缀、词片段。

与词级分词相比,可以缓解OOV问题。

与字符级分词相比,它能更好的保留一定的语义结构。

子词分词,可以在 https://tiktokenizer.vercel.app/ 体验,如下图.

图中,有6个单词,用子词级分词,得到8个token。

常见的子词算法有:

  • BPE(Byte Pair Encoding)
  • WordPiece
  • Unigram Language Model

其中,BPE是最早被广泛应用的字词分词方法。其基本思想是,在训练阶段,首先将语料中的词汇拆分为单个字符,构建初始此表;然后统计语料中,出现频率最高的相邻字符对,将其合并为新的子词单元,并加入词表。这个过程持续进行,直到此表达到预设上限。

关于BPE算法,详细可以了解:https://huggingface.co/learn/llm-course/chapter6/5?fw=pt

相关推荐
双鱼大猫15 分钟前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户58333398166824 分钟前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
sanxing三省1 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫2 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT2 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)2 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
oil欧哟3 小时前
AI Agent Skill 入门指南:文件夹本质、渐进式加载与挑选方法
人工智能·ai编程
百度Geek说3 小时前
从代码生成到需求交付:DarkFactory 的工程实践
人工智能
Baihai_IDP3 小时前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm