【DeepSeek】离线计算token用量实践总结【Windows】

引言

DeepSeek官方提供一个离线版的token用量计算的代码示例,本文我们将按照代码示例进行一下实践。

准备工作

Anaconda安装,提供Python代码运行所需的虚拟环境。

PyCharm安装,代码编写和运行工具,方便。

开始实践

第一步:安装Anaconda工具。

第二步:在Anaconda中创建一个新的虚拟环境,示例如下:

首先打开Anaconda的Powershell窗口:

输入以下命令,创建虚拟环境:

lua 复制代码
conda create -n deepseek_token

输入以下命令,切换到新创建的虚拟环境中:

复制代码
conda activate deepseek_token

输入以下命令,安装python3.8,python版本要求不低于3.8:

ini 复制代码
conda install python=3.8

输入以下命令,安装transformers:

arduino 复制代码
pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

下载DeepSeek离线计算token用量示例代码:地址:Token 用量计算 | DeepSeek API Docs

下载后得到一个名为deepseek_v3_tokenizer.zip的压缩包,内容如下图所示:

在本地代码存放目录新建一个文件夹,将上图中最后一个红框内的三个文件拷贝到自己的文件夹内,如下图所示:

使用PyCharm打开新建的项目工程目录,如下图所示:

打开后,发现示例代码中的transformers有报错,右下角发现运行环境错误,不是我们之前创建好的虚拟环境,需要手动切换到刚刚新建的虚拟环境中:

点击右下角的Python 3.7,进行运行环境切换,如下图所示:

选择刚刚创建好的虚拟环境,如下图所示:

切换成功后,如下图所示,transformers下方红线会消失,如果不消失可以重新打开一下PyCharm就会消失了,右下角切换环境的位置会显示刚刚创建的虚拟环境名称:

在文件空白位置鼠标右键,选择run就可以运行代码了,如下图所示:

运行成功后,如下图所示,控制台输出的是字符串的编码:

并没有按照我预想的直接返回一个数字,而是返回的集合,还需要我们自己转换一下,输出一下集合的长度,如下图所示:

这样看起来就清晰多了,至此在Windows系统下DeepSeek离线计算token用量实践到此结束,如有问题或建议欢迎大家评论区交流,最后还是要passion!

问题及解决办法

一、运行长文本内容时出现以下错误:

csharp 复制代码
SyntaxError: Non-UTF-8 code starting with '\xe5' in file D:\ConnorProjects\deepseek_token\deepseek_tokenizer.py on line 11, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

报错内容分析应该是编码格式问题,查阅资料后使用以下方案成功解决:

在文件第一行新增以下代码,如下图所示:

markdown 复制代码
# -*- coding: utf-8 -*-
相关推荐
AI英德西牛仔1 天前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
YIAN1 天前
从 LangChain 到 DeepAgents:手把手拆解 createAgent、Middleware 与复杂 Agent
javascript·langchain·deepseek
大模型真好玩2 天前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
一缕82年的清风2 天前
百万 Token 砍到 0.5 美元!微软新模型半价、DeepSeek 连夜撤回搜索费,11 月底开发者怎么搭最省钱?
gpt·claude·deepseek
我才是银古3 天前
单模型分层与视频自动生成
视频制作·deepseek·opencode
sanxing三省3 天前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
世界是一片荒原4 天前
给 DeepSeek Harness 做多会话工作台:四格原生会话、Agent 脉络图与压缩预警
deepseek
AI英德西牛仔4 天前
智谱清言导出word指令失效?PC端深度用户正在用“AI导出鸭”重构内容归档流
人工智能·重构·word·excel·deepseek·ai导出鸭
Jahzo5 天前
DSH 客户端二开实战(四):业务登录如何接入原生桌面与本地 Host
架构·deepseek
小七-七牛开发者5 天前
Anthropic:Agent 不必一直运行,也能持续工作
agent·claude·deepseek·anthropic·alwaysonagent