技术栈
bbpe
IMdandelion
17 小时前
wordpiece
·
tokenization
·
bbpe
子词分词器(Byte Pair Encoding + WordPiece)
参考文章:子词分词器BPE和WordPiece理解_wordpeice-CSDN博客子词分词器BPE和WordPiece理解_wordpeice-CSDN博客