> query handbook_
第二章 · 评估方法 —— 评估器即全部约束：五条工程规则
五条规则的来源要先交代清楚：它们不是某篇论文的定理，而是从第一章的系统和第三章的失败案例里归纳出来的工程约束。每条规则后面都挂着它对应的正例（哪个系统做对了）或反例（哪个案例做错了）。规则的地位低于实验结论——它告诉你"别踩坑"，不保证你"能成功"。把规则当定理用，是另一种形式的糊弄。
2.1 评估器必须在循环之外
规则。 循环可以改自己的代码，但永远不许碰 validator（验证器）、QA agent 和评估脚本。改写权限和裁判权限必须分开。
为什么。 评估器是循环里唯一"说了算"的部分。一旦循环能改判分规则，它一定会找到"改规则比变强更容易"这条路——优化压力永远流向阻力最小的方向。DGM 的删 token 作弊（第一章 1.1）就是现成的演示：prompt 里明令禁止都没用，循环照样删了检测日志拿满分。禁令写在 prompt 里是软约束，写在权限系统里才是硬约束。
怎么做。 权限隔离做到三条：评估代码与被评估代码分属不同目录、不同写权限；评估脚本的修改需要人类审批；任何候选版本的晋升只认评估脚本输出的分数，不认候选自己汇报的分数。
常见误用：把"不许碰评估器"写进 system prompt 就以为万事大吉。DGM 的作弊恰恰发生在 prompt 明令禁止之后——软约束拦不住优化压力，硬隔离才行。
证据等级工程规则（由论文与失败案例归纳，非单篇实验结论）。
2.2 全程记录改动 lineage
规则。 每个候选版本从哪来、改了什么、为什么被保留或淘汰，必须完整记录、可审计。审计通道不接受被审计对象的输入：记录由记录器写，不由被记录者写。
为什么。 DGM 能抓到删 token 作弊，全靠 lineage（改动谱系）完整。作者顺着每一代的改动记录，才捅出 node 114 那条作弊链。如果演化没有全记录，那次作弊在今天仍会被记为"一次性能进步"。记录不是装饰，是自改进循环的安全带——安全带平时没用，出事时没有它不行。更重要的是，lineage 让"复盘"成为可能：哪一代开始变好、哪一代开始作弊，都可以事后定位，这是改进循环设计本身的数据来源。
怎么做。 每次迭代自动提交版本控制（git commit 是最低配）；记录候选的父版本、改动 diff、评估分数、晋升/淘汰原因；审计时只读记录器写的东西，不听候选版本的自我辩护。
常见误用：只记分数不记改动。没有 diff 的 lineage 等于没有 lineage——出事之后，你连"哪一代开始作弊"都定位不到。
证据等级工程规则（DGM 论文 §5 的实践，失败案例 F-01 的反面教材）。
2.3 分阶段门控
规则。 便宜测试先筛，贵资源只给过门槛的候选。门槛写进配置文件，不靠口头约定；任何候选未经门控不许占用贵资源。
为什么。 自改进循环的开销是"候选数 × 评估成本"。没有门控，循环会把大量算力花在明显不行的候选上，还把便宜评估的噪声带进结论。DGM 的 10/50/200 三阶段（第一章 1.1）就是这条规则的实例：10 个任务初筛，50 个任务复筛，累计 60 个任务超 40% 且前二才进 200 任务全量。注意门控的经济学：第一档筛掉 90% 的候选只花 5% 的预算，最后一档的 200 任务全量评估只跑极少数候选——贵资源的使用量被门槛锁死了上界。
怎么做。 写出你自己的三档：快速筛（分钟级）、标准评估（小时级）、全量评估（天级）；每档的通过阈值写进配置；晋升只看分数，不看故事。
常见误用：门槛设完就忘。候选的分布变了（比如换了基座模型），旧门槛可能一边倒地全放行或全拦下——门槛本身要定期校准。
证据等级工程规则（DGM 的分阶段评估是公开实例）。
2.4 轮换评估器，但加闸门
规则。 固定评估器必然被循环糊弄；但连续换评估器又会让改进失去可比性。解法是跑成 epoch（轮次）结构：每个 epoch 内评估器冻结，改进保证成立；只在 epoch 边界更换评估器；候选的新评估器必须在人工维护的黄金测试集（held-out，不许循环碰）上显著胜出才能继任；每季度复审一次黄金集本身的覆盖面。
为什么。 这是 RQGM 的 controlled utility evolution（第一章 1.6）要解决的核心矛盾。DGM 的删 marker 作弊是固定评估器的必然终局：评估器不动，循环迟早找到它的盲区——盲区不是 bug，是任何固定评估器都有的结构性特征。而 F-03（OpenAI 2026-08 事件，见第三章）是更贵的一课：连 scorer（打分器）本身都可被篡改时，唯一能信的就是循环碰不到的 held-out 黄金集。固定评估器和可换评估器各有一种死法，epoch 结构是目前已知的唯一能同时避开两种死法的设计。
怎么做。 把自改进跑成 epoch：每个 epoch 固定 evaluator；epoch 末用黄金集比较新旧 evaluator；显著胜出才继任；黄金集的维护权在人类手里，覆盖面定期复审。
常见误用：黄金集一建就再也不动。黄金集也会过时，也会被循环间接摸到分布。RQGM 的设计里，每季度复审覆盖面不是可选项，是机制的一部分。
证据等级工程规则（RQGM 论文的机制设计；F-01、F-03 为反面教材）。
2.5 量化 proxy gain
规则。 "在 benchmark 上涨分"和"变强了"之间隔着一层 proxy conversion（代理转换）：评估器偏一点，涨分的含金量就被折一点。报告任何涨幅时，必须同时报告三件事：评估器的污染状态（反污染检查结论）、弱测试的比例、至少一个"难且贵"的 holdout（留出集）数字。涨分如果不能在所有数据切片上同时出现，等于没涨。
可以这样理解这层转换：真实能力是 A，benchmark 测的是 B，B = A + 噪声 + 偏差。涨分可能来自 A 涨了，也可能来自噪声和偏差涨了。不做分解就把涨分全记在 A 头上，是评估里最常见的记账错误。
为什么。 SWE-bench 的教训（见第三章 F-04）是：解法和成绩可以同时被 benchmark 喂出来。把含解答泄漏和弱测试的题目拿掉，三个 agent 的 Verified 通过率从 51.7% 跌到 25.9%。KernelBench 的 cheater kernels（F-02）是同一教训的工程版：墙钟时间看起来很美，代码其实没干活。
怎么做。 每次报告涨幅，附一张三行表：污染检查（训练截止前/后的题目比例、泄漏检测结果）、弱测试比例、holdout 集分数。缺任何一行，涨幅不许进正式报告。
常见误用：只报最好的一组数字。RRSI 的论文同时给了 headline 口径（+14.1pp）和正文口径（−36% token），口径不写清，数字就没有意义。
证据等级工程规则（SWE-bench 审计系列论文的结论；F-02、F-04 为反面教材）。