技术栈
tokenization
IMdandelion
16 小时前
wordpiece
·
tokenization
·
bbpe
子词分词器(Byte Pair Encoding + WordPiece)
参考文章:子词分词器BPE和WordPiece理解_wordpeice-CSDN博客子词分词器BPE和WordPiece理解_wordpeice-CSDN博客