Token和字数关系对照表：详细说明与实用指南

精确计算一段中文文本在AI模型中的算力消耗，关键在于理解Token与汉字数量的实际换算比例。这个比例并非固定的1:1，也非某种僵化公式，而是由各模型独有的分词器决定的动态规则。

常见误解：Token并非汉字字数

许多人将“我爱北京天安门”七个汉字视为七个Token，这是常见误解。实际上，在GPT-4中此句常被切分为6个Token；Qwen2可能拆成5个；DeepSeek-V3则可能为7个。每个模型的分词器采用不同的切分策略，导致同一段文本在不同模型间的Token数量可相差20%以上。

核心在于理解：Token是AI处理语言的最小计算单元，并非人类视角的单个文字。它可以是一个完整的高频词汇如“人工智能”（1个Token），也可能被逐字拆分为“人”“工”“智”“能”（各1个Token），具体取决于该词在训练语料中的出现频率以及是否收录于模型词汇表。

中文分词的三类典型模式

第一种模式：高频复合词整体打包为一个Token。
例如“云计算”“短视频”“大模型”等语料中频繁出现的词汇，分词器将其视为一个整体，即使包含四个汉字也只占用1个Token。这种机制对压缩长文本成本极为有效。

第二种模式：常用单字独立成Token。
像“的”“了”“在”“我”“你”“他”这类极高频率汉字，在所有主流分词器中均稳定占据1个Token。既不合并也不拆分，规则恒定。

第三种模式：生僻字或罕见词被迫逐字切分。
遇到“龘”“彧”“犇”等生僻字，或用户自创的术语如“智械纪元”“云栖协议”，分词器无法识别，只能回退到最原始的方式：按单字逐个切分。“龘龘”两字即2个Token，“智械纪元”四字即4个Token——无任何折扣。

标点、空格、数字与英文混排的计算规则

首先，中文标点每个占用1个Token。句号、逗号、顿号、引号、括号、破折号等均不例外。若一段文本包含10个汉字和5个标点符号，则至少需要15个Token。

英文部分采用子词切分逻辑。单词“unbelievable”通常不会作为1个Token，而是拆分为“un”+“believe”+“able”（具体取决于模型分词方式）。然而，“AI”“GPU”“API”等常见缩写因其高频，通常被整体计为1个Token。

中英混排与代码片段享有特殊压缩机制。例如表达式“调用func(x=1)”的典型切分结果：“调用”2个Token、“func”1个、“(”1个、“x”1个、“=”1个、“1”1个、“)”1个，总计8个Token。而URL如“https://a.co/xyz”则被多数模型识别为1个Token——这属于设计上的优化策略。

实测换算区间参考（基于2026年主流模型均值）

日常口语对话文本：约60–75 Token/100汉字
技术文档或论文摘要：约85–105 Token/100汉字
古诗词、文言文或弹幕式短句：约110–130 Token/100汉字（停顿频繁、标点密集、虚词较多，消耗自然更高）

需要强调：上述区间并非理论公式，而是基于实际API返回的usage字段统计得出的均值。若正在调试提示词，最可靠的方法是直接查看模型返回的JSON响应，定位"usage": {"prompt_tokens": xxx}字段，该数值即为准确结果。