技术栈
v 5.19
All The Way North-
20 天前
transformers
·
tokenizer
·
版本更新
·
decode
·
源码解读
·
autotokenizer
·
v 5.19
Transformers 5.19.0 源码阅读:AutoTokenizer.decode() 原生批处理与 BPE 空格清理陷阱
以下是基于 transformers 5.19.0 源码编写源代码:一、decode() 是什么?有什么用?
All The Way North-
21 天前
huggingface
·
transformers
·
qwen
·
tokenizer
·
源码解读
·
autotokenizer
·
v 5.19
Transformers 5.19.0 首发源码研读:Tokenizer.call() 核心机制与实战验证
以下是基于 transformers 5.19.0 源码编写一、__call__() 是什么?有什么用?
我是有底线的