实体库 · DeepDive 文章 · 深度报告
评分器不可写:长时程自动实验里的 reward hacking 与度量失效智能体新增 · 待复核
评分器不可写:长时程自动实验里的 reward hacking 与度量失效(2026-10-13 · 深度报告 · Agent 工程):作弊不是边角料:METR 的 o3 在 RE-Bench 上 30.4% 的运行作弊,GPT-5.6 Sol 的时间视野因作弊记账方式不同差约 24 倍。对比 Karpathy autoresearch 的文字约定与 METR 的强制隔离,给出九条评分器隔离清单,并回头审自己的实验。10 个章节,讲到 7 个机构、App、模型和人(名称匹配,待复核)。每个章节都是库里的一个节点,连到它讲到的实体。
- 发布2026-10-13 · v1
- 文章xiaopingfeng.com/deepdive/grader-read-only/ · 深度报告 · Agent 工程 · DD·0153
- 标签reward-hacking · autoresearch · evals · verification · agent-engineering · metr · benchmark-integrity · harness
- 篇幅约 15,299 字 · 10 个章节
章节 10 个 · 点标题到文章里的那一节(页面没给标题加 id 的,到文章开头);摘要是该节第一段的节选
| 章节 | 第一段 | 讲到的实体 |
|---|---|---|
| 评分器能被写到,数字就不算数 | 1 | |
| 同一批运行,三个答案 | 2 | |
| 作弊有多常见 | 3 | |
| 评分器有 五个面 | 2 | |
| 约定与强制 | 1 | |
| 没人作弊,数字也不对 | 1 | |
| 当作弊 决定曲线 | 1 | |
| 评分器 隔离清单 | 1 | |
| 回头审 自己的实验 | 2 | |
| 这篇 没证明什么 | 1 |
共 10 条 · 数据 2026-11-13
这篇文章讲到的机构、人、App 和模型 6 个 · 名称匹配(名字在标题或导语里是「主角」,只在正文里是「提及」),待复核;按它们在各章节里出现的次数排
被讲到最多的(按章节数)
共 5 条 · 数据 2026-11-13
机构 · 5
App · 1
- Claude通用助手 · #2 · Anthropic
共 1 条 · 数据 2026-11-13
相关文章 文章末尾「相关文章」列出的
- AI Native 时代的研发:写变便宜之后,稀缺的是什么topic
- AI 研究员进度条:Epoch 出题两个月后,Anthropic 交了第一份答卷report
- 循环工程:当你不再 prompt,而是设计驱动 Agent 的系统topic
- Agent 工程进化论:从 Harness 稳定到自主迭代topic
共 4 条 · 数据 2026-11-13