评测基础设施

"这个模型更好吗"是训练团队每天要回答的问题，答案不能靠感觉。评测基础设施的任务：把模型质量度量系统化——固定的基准集、自动化的流水线、可信的对比。本章讲清楚评测体系的构成：基准集的设计、评测的自动化、以及"评测泄漏"这个真实的风险。

评测体系的三层

层	内容	频率
在线指标（训练中）	每 N step 跑固定基准	训练内
离线评测（候选门禁）	全量基准套件	发布前
人工/在线评估	抽样对比、真实流量评估	灰度期/定期

三层互补：训练中看趋势（便宜、粗），门禁看全貌（贵、全），灰度看真实（贵、真）。

基准集的设计

一、覆盖要全：单一基准的结论都是片面的：

类别	基准	说明
知识/推理	MMLU、GSM8K、MATH	通用能力
代码	HumanEval、SWE-bench	代码能力（对量化敏感，见量化）
指令遵循	IFEval	SFT 质量
长上下文	长文档 QA、大海捞针	长程能力（KV 量化的专项抽测）
安全	红队集	安全基线
自有业务集	自建的任务集	最贴近真实（通用基准会饱和与泄漏）

二、自有业务集是核心：通用基准会饱和（大家都 90+）与泄漏（训练数据污染）——自建的业务任务集（真实使用场景的任务）是最有区分度的评测。

三、固定与冻结：评测集要冻结版本（变化 = 不可比）；评测集永远不进训练（泄漏是致命的）。

评测的自动化

评测流水线的标准形态：

候选检查点 → 自动触发评测流水线
  ↓
多基准并行跑（评测算力池，独立于训练集群）
  ↓
报告入库（注册表的评测字段，见[模型注册](/platform-mlops/01-lifecycle/model-registry-release.md)）
  ↓
门禁判定（分数阈值 / 相对基线的 delta）

三个工程要点：

一、评测的算力独立：评测跑在独立算力池（不抢训练的卡，见多租户），否则评测排队让发布停摆。

二、固定推理配置：评测时模型的推理配置（采样温度、量化精度、上下文长度）要固定版本——评测结果依赖推理配置（量化模型用 FP16 评测 = 评测错了对象）。

三、报告是对象不是截图：评测报告（分数、配置、时间、环境）作为结构化对象入库——截图式的报告无法对比与追溯。

评测泄漏：真实的风险

数据污染（benchmark contamination）：训练语料里混入了基准题——分数虚高，评测失效。真实的防御：

手段	做法
污染检测	训练语料与基准集的 n-gram 重叠扫描（去重时同时做，见数据管道）
动态基准	定期更新基准（泄漏的基准会饱和）
私有集	不公开的业务集（无法被爬虫污染）

污染检测是数据管道的组成部分：去重扫描时同时做基准重叠检查——发布前才发现污染，是最贵的教训。

对比的方法论

"新模型 vs 旧模型"的评测对比：

一、绝对分 vs 相对 delta：通用基准看绝对分（横比），业务集看相对 delta（新旧对比）——delta 才是发布决策的依据。

二、多维度联合：单基准提升 + 其他基准下降的"跷跷板"很常见（数学提升、代码下降）——报告要全维度，门禁按加权或底线判。

三、统计显著性：评测的噪声（采样随机性、评测集有限）要求多次运行/足够样本——单次运行的 0.5 分差异不算差异。

四、人工评估的补充：自动基准测不到的（风格、幻觉率、有用性）靠人工对比评估（灰度期抽样）——自动 + 人工互补（LLM-as-judge 的自动化人工评估是中间态，但要注意 judge 的偏差）。

本章要点

评测三层：训练中在线指标（粗、便宜）→ 门禁全量评测（全）→ 灰度真实评估（真）。
基准覆盖要全：知识/代码/指令/长上下文/安全 + 自有业务集（最有区分度）。
评测集冻结版本、永不进训练；污染检测是数据管道的组成部分（去重时同时扫）。
评测的算力独立、推理配置固定版本、报告是结构化对象。
发布决策看相对 delta + 多维度联合（跷跷板很常见）+ 统计显著性；人工评估补充自动基准的盲区。