技术栈
tokenization
IMdandelion
16 小时前
wordpiece
·
tokenization
·
bbpe
子词分词器（Byte Pair Encoding + WordPiece）
参考文章：子词分词器BPE和WordPiece理解_wordpeice-CSDN博客子词分词器BPE和WordPiece理解_wordpeice-CSDN博客