适配 tiktoken 4.x 模型目录，国产模型 token 估算更准确
- 日期：2026-08-18
- 提交：
fix(runtime-domain): 适配 tiktoken 4.x 模型目录并补全国产模型家族识别 - 版本：
0.12.1-alpha.4
Hunea 对上下文占用的估算依赖 tiktoken 的「模型 → encoding」目录。此前 tiktoken 3.x 只按模型名前缀/全名精确匹配，local/qwen3 这类 provider/model 写法以及 Kimi、GLM、MiniMax、DeepSeek V4 等较新的国产模型都会掉进 o200k_base 兜底估算，显示出的上下文占用可能与真实请求偏差较大。本次更新适配 tiktoken 4.x 模型目录，并为国产模型家族补上专用 encoding，让 /context 的估算更贴近实际。
主要变化
-
适配 tiktoken 4.x 模型目录
encoding 解析优先查询 tiktoken 4.x 的模型目录；provider/model写法会剥离最后一段（basename）后再命中，local/qwen3、custom-*等别名不再掉进o200k_base兜底。 -
补全国产模型家族识别
ModelFamily新增KimiK2/KimiK3、Glm4/Glm5、MiniMax、DeepseekV4，分别映射到专用 encoding（kimi_k2/kimi_k3/glm4/glm5/minimax_m2/deepseek_v4），不再走 o200k 兜底估算。 -
DeepSeek / Mistral 匹配细化
deepseek-chat/deepseek-reasoner按 tiktoken 4.x 别名指向 V4，其余 DeepSeek 仍走 V3；Mistral 匹配补充pixtral。
相关说明
- 上下文占用查看与估算口径见 /context。
- 本次变更影响的是估算精度；实际计费仍以各家供应商返回为准。