技术栈
tokens预估
冬瓜神君
4 小时前
node.js
·
huggingface
·
tiktoken
·
tokens预估
Token 预估这件小事：使用HuggingFace Tokenizers精准预估上下文Tokens
开发 Agent 类项目久了，会患上一种职业病——Token 焦虑症。每当用户甩过来一本《三体》全文，第一反应不是"哇，大刘写得真好"，而是"这得烧掉多少 Token 啊？上下文窗口还够不够用？"
我是有底线的