ChatGLM3与Qwen模型中文优化实战指南：提升本地部署与对话效果
如果你在使用ChatGLM3或Qwen这类主流中文大模型时，发现生成的内容词不达意、标点混乱，或者在处理长文档时经常“前言不搭后语”，先别急着怀疑模型的能力。这很可能不是模型本身的问题，而是部署或调用环节的一些关键配置没有到位。
简单来说，这些现象往往源于模型未能正确加载其中文“基因”——比如分词器（Tokenizer）不匹配、对话模板缺失，或是长文本处理机制未激活。下面我们就来系统地梳理一下，如何通过几个关键步骤，让模型的中文能力“回归正位”。
一、确认并强制加载适配的Tokenizer
分词器是模型理解文本的第一道关口。中文支持出问题，十有八九是这一步出了岔子。例如，Qwen系列模型使用独特的 <|im_start|> 等标记来构建对话，而ChatGLM3则依赖 [MASK]、[gMASK] 这类前缀。如果图省事直接调用Hugging Face的默认AutoTokenizer，就很容易导致对话格式解析错误、上下文被意外截断，最终输出语义混乱的结果。
那么，正确的做法是什么？
对于Qwen模型，务必在加载时显式指定分词器类型，并信任远程代码：tokenizer_class="QwenTokenizer"，同时传入 trust_remote_code=True 参数。
对于ChatGLM3模型，则必须使用 AutoTokenizer.from_pretrained(..., trust_remote_code=True) 的方式加载，并且一个关键细节是：禁用fast tokenizer模式，即设置 use_fast=False。
加载完成后，如何验证？一个简单的测试是：用分词器对“你好，今天天气如何？”这句话进行编码，然后检查输出结果。对于Qwen，编码后的ID序列应该包含代表 <|im_start|> 的特定ID（如151643）；对于ChatGLM3，序列则应以 64787 或 64791 这类代表其特殊前缀的ID开头。如果没看到这些预期标记，说明分词器加载得不对。
二、启用模型专属的对话模板引擎
如果说分词器决定了模型如何“读”，那么对话模板就决定了如何“组织”输入。很多开发者直接使用Transformers的原生pipeline，却忽略了注入模型专属的对话结构。其后果是深层的：可能导致RMSNorm层失效、RoPE位置编码偏移，甚至让基于Prefix LM的解码过程直接崩溃。
因此，务必确保对话模板被正确应用。
如果使用LLaMA Factory这类微调框架，事情会简单很多。直接在配置文件中明确设置 template: qwen 或 template: chatglm3，框架会自动处理好一切。
如果采用vLLM进行部署，除了设置 --tokenizer-mode auto，还需要通过 --enable-lora 参数启用LoRA适配器，并确保 lora_modules 列表中包含了对应的模型名称。
手动验证模板是否生效也很直观：构造一个包含系统指令和用户问题的输入，观察在送入模型嵌入层之前，文本是否被正确包裹成了模型预期的格式。例如，Qwen的输入应该形如 <|im_start|>system\n...<|im_end|><|im_start|>user\n...<|im_end|>。
三、校准中文词表与字符编码
这个问题相对隐蔽，但影响广泛。部分部署环境默认的编码方式（如UTF-8-BOM或GBK）在读取训练或推理数据时，可能导致全角标点、中文括号、顿号、书名号等符号无法被分词器识别。其直接表现就是生成文本时出现“跳字”或莫名其妙的断句。
排查和解决可以从以下几点入手：
首先，检查你的数据文件。在命令行使用 file -i your_data.jsonl 命令，确认输出显示为 charset=utf-8。
其次，在所有的数据预处理脚本中，强制指定以UTF-8编码打开文件，即添加 encoding='utf-8' 参数。
最后，直接对分词器的词表文件进行一次“体检”。加载 tokenizer.vocab_file（通常是vocab.json），搜索一下“、”“《”“【”“～”等典型中文符号是否存在于词表中。如果缺失，就意味着需要重新构建词表，或者去加载一个完整版的分词器。
四、修复长文本中文指代连贯性
ChatGLM3-6B-32k和Qwen2.5-7B-Instruct等模型虽然宣传支持长上下文，但如果底层机制没配置好，处理长中文文档时依然会出现指代混乱——比如把前半部分提到的人名和后半部分的机构搞混。
这通常是因为真实的长上下文注意力机制（如PagedAttention）没有启用，或者位置编码的旋转基数（RoPE theta）没有针对中文长文本进行优化。
对于使用vLLM的情况，请在启动参数中加入 --max-model-len 32768，并确认日志中间出现了 "Using PagedAttention" 的字样。
针对Qwen模型，建议将 rope_theta 参数设置为 1000000（而非默认的10000），这能更好地扩展其长文本位置编码能力。
对于ChatGLM3模型，在推理时明确传入 max_length=32768，并禁用自动截断（truncation=True）。同时，将填充侧设置为 padding_side='left'，可以有效防止句子开头的关键信息被截断。
五、用专项指标验证中文任务能力
“看起来没问题”不一定是真的没问题。要客观评估模型的中文能力，尤其是专业领域的中文理解，必须依赖结构化的评测指标。通用的英文评测集（如MMLU）很难反映出模型在中文术语、政策文件或方言转换上的真实水平。
一个权威的选择是使用CMMLU（中文大规模多任务语言理解）评测集。建议重点观察模型在“法律”、“医学”、“金融”等专业子类上的零样本分类准确率。
此外，可以构建一个自定义的测试集：准备一些约2000字的中文报告，并设计3个左右的指代性问题（例如，“文中提到的第三家医院名称是什么？”）。人工标注标准答案后，统计模型的精确匹配率。
更进一步的，可以利用 transformers.EvalPrediction 等接口进行评估，输出混淆矩阵并计算模型在“中文专有名词实体识别”任务上的F1值。经验表明，如果这个F1值低于0.85，通常就需要回溯检查前面提到的分词器和模板配置了。