hf tokenizer

大鹏的NLP博客3 小时前
c++·hf tokenizer
HuggingFace WordPiece Tokenizer in C++我做过测试无误，有兴趣的可以测测。 wordpiece_tokenizer.hpp
我是有底线的