Token 是什么(通俗 + 专业双解释)
一、最简单大白话
Token 直译是令牌、凭证,不同场景含义不一样,日常最常遇到 3 种:AI 大模型 Token、区块链代币、登录身份令牌。
二、三大主流场景详解
1. AI 领域(ChatGPT、豆包、文心一言等最常用)
AI 不是直接按汉字 / 单词计算,而是把文字切割成最小单元,这个单元就叫 Token。
- 中文规则:1 个汉字 ≈ 1~2 个 Token;一段短句大概几个到几十个 Token
- 英文规则:1 个短单词≈1Token,长单词会拆成多个 Token
- 作用:
- 计费:调用 AI 接口按消耗 Token 收费
- 上下文限制:每个模型有最大 Token 上限(比如 4k、8k、128k),超过就会遗忘前面对话
举例子: 今天天气很好 拆分后会生成若干 Token,输入 + AI 回复的总和不能超过模型限额。
2. 互联网登录 / 接口(后端开发常用)
身份令牌 Token,用来代替账号密码登录:
- 你输入账号密码登录服务器
- 服务器验证通过,下发一串加密字符串 = Token
- 之后每次访问页面 / 接口,带上这个 Token,服务器就能识别你是谁,不用重复输密码
- 有有效期,过期需要重新登录刷新
对比:Cookie 是浏览器存储,Token 通用性更强,APP、小程序、网页都能用。
3. 区块链 / 加密货币
Token = 通证、代币,分两类:
- 原生币:以太坊 ETH、比特币 BTC,是区块链底层自带货币
- 项目代币:基于公链发行(比如 ERC20 代币),代表项目权益、积分、股权凭证
提示:虚拟货币交易在国内不受法律保护,存在极大风险。
三、快速区分记忆
- 聊 AI 对话、计费 → 文字拆分单元 Token
- 网站 / APP 登录、接口开发 → 身份凭证 Token
- 虚拟币、区块链项目 → 数字通证 Token