大模型入门：Token 与上下文窗口

用了一段时间 ChatGPT、文心一言或者通义千问之后，你大概见过两个词：Token 和上下文窗口。搞懂它们，能解释你用 AI 时遇到的大部分"怪现象"。

Token 是什么

大模型并不按"字"或"词"读取文本，而是把文字切成小块，每一块就是一个 Token。

• 英文里一个 Token 大约是 0.75 个单词，比如 "playing" 可能被切成 "play" + "ing"；
• 中文通常是 1~2 个字一个 Token，比如"魔方"可能是 2 个 Token，也可能是 1 个（取决于模型词表）。

为什么重要？因为计费、限速、上下文长度全都按 Token 算。你在对话框里贴了一篇 5000 字的文章让 AI 总结，消耗的就是这 5000 字对应的输入 Token，加上它生成摘要的输出 Token。

上下文窗口：AI 的"工作记忆"

上下文窗口是一次对话中模型能"看到"的最大 Token 数，可以理解为 AI 的短期记忆容量。

• 窗口 8K 的模型大约能记住 1.2 万个汉字；
• 窗口 128K 的模型能一次性读进一本小书。

为什么会"聊着聊着就忘了前面说的"：当对话总长度接近窗口上限时，最早的内容就会被截断或压缩，AI 自然就"失忆"了。

三个实用结论

1. 长文档先分段：与其一次性塞给 AI 一整本书，不如按章节提问，关键信息再单独深挖；
2. 重要约束放在最后再强调一遍：比如"输出必须是表格"，放在开头和结尾各说一次，遵守率明显更高；
3. 新开会话 = 清空记忆：涉及隐私的长对话，聊完新开一个会话即可。

理解了 Token 和窗口，你就明白了一个道理：AI 不是真的在"读"你的话，它是在有限的记忆里做文字接龙——顺着这个思路，很多现象都能解释了。