【DeepSeek】离线计算token用量实践总结【Windows】

引言

DeepSeek官方提供一个离线版的token用量计算的代码示例,本文我们将按照代码示例进行一下实践。

准备工作

Anaconda安装,提供Python代码运行所需的虚拟环境。

PyCharm安装,代码编写和运行工具,方便。

开始实践

第一步:安装Anaconda工具。

第二步:在Anaconda中创建一个新的虚拟环境,示例如下:

首先打开AnacondaPowershell窗口:

输入以下命令,创建虚拟环境:

lua 复制代码
conda create -n deepseek_token

输入以下命令,切换到新创建的虚拟环境中:

复制代码
conda activate deepseek_token

输入以下命令,安装python3.8python版本要求不低于3.8

ini 复制代码
conda install python=3.8

输入以下命令,安装transformers

arduino 复制代码
pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

下载DeepSeek离线计算token用量示例代码:地址:Token 用量计算 | DeepSeek API Docs

下载后得到一个名为deepseek_v3_tokenizer.zip的压缩包,内容如下图所示:

在本地代码存放目录新建一个文件夹,将上图中最后一个红框内的三个文件拷贝到自己的文件夹内,如下图所示:

使用PyCharm打开新建的项目工程目录,如下图所示:

打开后,发现示例代码中的transformers有报错,右下角发现运行环境错误,不是我们之前创建好的虚拟环境,需要手动切换到刚刚新建的虚拟环境中:

点击右下角的Python 3.7,进行运行环境切换,如下图所示:

选择刚刚创建好的虚拟环境,如下图所示:

切换成功后,如下图所示,transformers下方红线会消失,如果不消失可以重新打开一下PyCharm就会消失了,右下角切换环境的位置会显示刚刚创建的虚拟环境名称:

在文件空白位置鼠标右键,选择run就可以运行代码了,如下图所示:

运行成功后,如下图所示,控制台输出的是字符串的编码:

并没有按照我预想的直接返回一个数字,而是返回的集合,还需要我们自己转换一下,输出一下集合的长度,如下图所示:

这样看起来就清晰多了,至此在Windows系统下DeepSeek离线计算token用量实践到此结束,如有问题或建议欢迎大家评论区交流,最后还是要passion

问题及解决办法

一、运行长文本内容时出现以下错误:

csharp 复制代码
SyntaxError: Non-UTF-8 code starting with '\xe5' in file D:\ConnorProjects\deepseek_token\deepseek_tokenizer.py on line 11, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

报错内容分析应该是编码格式问题,查阅资料后使用以下方案成功解决:

在文件第一行新增以下代码,如下图所示:

markdown 复制代码
# -*- coding: utf-8 -*-
相关推荐
l1t1 小时前
利用DeepSeek改写递归CTE SQL语句为Python程序及优化
数据库·人工智能·python·sql·算法·性能优化·deepseek
shayudiandian11 小时前
开学季技术指南:高效知识梳理与实战经验分享
deepseek
大模型真好玩1 天前
OCR技术简史: 从深度学习到大模型,最强OCR大模型花落谁家
人工智能·python·deepseek
武子康2 天前
DeepSeek-OCR 原理剖析|上下文光学压缩、Gundam 动态分辨率与并发预期 附代码
深度学习·aigc·deepseek
后端小肥肠3 天前
【n8n入门系列】输入抖音分享链接,3步自动提无水印视频 + 文案,小白也能上手!
agent·deepseek·mcp
超级神性造梦机器3 天前
当开源 OCR 革命撞上多模态成本困局:我们如何用 Gateone.ai 把 DeepSeek-OCR 变成 “印钞机”
llm·deepseek
Blessed_Li3 天前
DeepSeek-OCR深度解析:新一代开源OCR模型的技术突破与核心优势
ocr·deepseek
wanzhong23333 天前
Deepseek-ocr论文精读
深度学习·ocr·多模态·deepseek
算家计算4 天前
DeepSeek-OCR本地部署教程:DeepSeek突破性开创上下文光学压缩,10倍效率重构文本处理范式
人工智能·开源·deepseek
_一两风4 天前
用 n8n 自动化生成「每日科技热点速递」:从 RSS 到 AI 写作全流程实战(小白必看)
人工智能·rss·deepseek