技术栈

tiktoken

冬瓜神君
7 天前
node.js·huggingface·tiktoken·tokens预估
Token 预估这件小事:使用HuggingFace Tokenizers精准预估上下文Tokens开发 Agent 类项目久了,会患上一种职业病——Token 焦虑症。每当用户甩过来一本《三体》全文,第一反应不是"哇,大刘写得真好",而是"这得烧掉多少 Token 啊?上下文窗口还够不够用?"
wujpbb7
3 个月前
tiktoken·openai-whisper
安装 openai-whisper 失败pip install openai-whisper 出现错误解决方法:pip install tiktoken --only-binary=:all:
skywalk8163
7 个月前
网络·人工智能·语言模型·tiktoken
调试parlant的大模型配置,最终自己动手写了g4f的模块挂载parlant安装参见:https://skywalk.blog.csdn.net/article/details/152094280
我是有底线的