【DeepSeek】离线计算token用量实践总结【Windows】

引言

DeepSeek官方提供一个离线版的token用量计算的代码示例,本文我们将按照代码示例进行一下实践。

准备工作

Anaconda安装,提供Python代码运行所需的虚拟环境。

PyCharm安装,代码编写和运行工具,方便。

开始实践

第一步:安装Anaconda工具。

第二步:在Anaconda中创建一个新的虚拟环境,示例如下:

首先打开AnacondaPowershell窗口:

输入以下命令,创建虚拟环境:

lua 复制代码
conda create -n deepseek_token

输入以下命令,切换到新创建的虚拟环境中:

复制代码
conda activate deepseek_token

输入以下命令,安装python3.8python版本要求不低于3.8

ini 复制代码
conda install python=3.8

输入以下命令,安装transformers

arduino 复制代码
pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

下载DeepSeek离线计算token用量示例代码:地址:Token 用量计算 | DeepSeek API Docs

下载后得到一个名为deepseek_v3_tokenizer.zip的压缩包,内容如下图所示:

在本地代码存放目录新建一个文件夹,将上图中最后一个红框内的三个文件拷贝到自己的文件夹内,如下图所示:

使用PyCharm打开新建的项目工程目录,如下图所示:

打开后,发现示例代码中的transformers有报错,右下角发现运行环境错误,不是我们之前创建好的虚拟环境,需要手动切换到刚刚新建的虚拟环境中:

点击右下角的Python 3.7,进行运行环境切换,如下图所示:

选择刚刚创建好的虚拟环境,如下图所示:

切换成功后,如下图所示,transformers下方红线会消失,如果不消失可以重新打开一下PyCharm就会消失了,右下角切换环境的位置会显示刚刚创建的虚拟环境名称:

在文件空白位置鼠标右键,选择run就可以运行代码了,如下图所示:

运行成功后,如下图所示,控制台输出的是字符串的编码:

并没有按照我预想的直接返回一个数字,而是返回的集合,还需要我们自己转换一下,输出一下集合的长度,如下图所示:

这样看起来就清晰多了,至此在Windows系统下DeepSeek离线计算token用量实践到此结束,如有问题或建议欢迎大家评论区交流,最后还是要passion

问题及解决办法

一、运行长文本内容时出现以下错误:

csharp 复制代码
SyntaxError: Non-UTF-8 code starting with '\xe5' in file D:\ConnorProjects\deepseek_token\deepseek_tokenizer.py on line 11, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

报错内容分析应该是编码格式问题,查阅资料后使用以下方案成功解决:

在文件第一行新增以下代码,如下图所示:

markdown 复制代码
# -*- coding: utf-8 -*-
相关推荐
哥不是小萝莉2 天前
了解DeepSeek V3.2和Claude Sonnet 4.5
deepseek·claude 4.5
大模型真好玩2 天前
架构大突破! DeepSeek-V3.2发布,五分钟速通DeepSeek-V3.2核心特性
人工智能·python·deepseek
算家计算2 天前
DeepSeek发布新模型!采用全新稀疏注意力架构设计,与国产芯片协同优化
人工智能·开源·deepseek
量子位2 天前
DeepSeek突然拥抱国产GPU语言!TileLang对标CUDA替代Triton,华为昇腾Day0官宣支持适配
ai编程·deepseek
FIT2CLOUD飞致云2 天前
推出工具商店,工作流新增支持循环、意图识别、文生视频和图生视频节点,MaxKB v2.2.0版本发布
人工智能·开源·deepseek
JackieTse2 天前
DeepSeek-V3.2-Exp 技术报告解读
deepseek
飞哥数智坊3 天前
DeepSeek 节前突袭发布 V3.2-Exp:长文本推理成本直降75%!
人工智能·deepseek
武陵悭臾3 天前
安卓应用开发学习:应用ViewPager2翻页视图实现页面水平切换
android·学习·viewpager2·deepseek·翻页视图
AganTee3 天前
deepseek 电脑端怎么下载?网页版与本地部署教程
ai·deepseek
胡耀超4 天前
开源生态与技术民主化 - 从LLaMA到DeepSeek的开源革命(LLaMA、DeepSeek-V3、Mistral 7B)
人工智能·python·神经网络·开源·大模型·llama·deepseek