C++ 封装 C FFI 接口最佳实践:以 Hugging Face Tokenizer 为例在现代 AI 工程中,Hugging Face 的 tokenizers 库已成为分词器的事实标准。不过 Hugging Face 的 tokenizers 是用 Rust 来实现的,官方只提供了 python 和 node 的绑定实现。要实现与 Hugging Face tokenizers 相同的行为,最好的办法就是自己封装 Hugging Face tokenizers 的 C 绑定,从而可以被 C++ / C# / Java 这些高级编程语言调用。