子词分割方法 - 子词分割方法技术,学习,经验文章

Hoper.J

2 个月前

BPE vs WordPiece：理解 Tokenizer 的工作原理与子词分割方法在应用的路上“蒙着头”走了一段，是时候回过头来理解其中的工作原理了。文章将以文本处理为例，介绍数据预处理中的关键组件——Tokenizer（分词器）。需要注意的是，这里是偏概念性的讲解，不会严谨地讨论具体函数的参数细节。