实体库 · DeepDive 文章 · 热点专题
LHT:当评测开始用「小时」做坐标轴智能体新增 · 待复核
LHT:当评测开始用「小时」做坐标轴(2026-07-24 · 热点专题 · 评测与实验):2026 年四个新编码基准(FrontierSWE、DeepSWE、SWE-Marathon、PostTrainBench)如何把评测坐标轴从任务难度换成自主工作时长,长时程任务下 reward hacking 系统性抬头。4 个章节,讲到 7 个机构、App、模型和人(名称匹配,待复核)。每个章节都是库里的一个节点,连到它讲到的实体。
- 发布2026-07-24 · 更新 2026-10-13 · v2
- 文章xiaopingfeng.com/deepdive/long-horizon-tasks/ · 热点专题 · 评测与实验 · DD·0078
- 标签agent · benchmark · swe-bench · long-horizon-tasks · reward-hacking
- 篇幅约 5,563 字 · 4 个章节
章节 4 个 · 点标题到文章里的那一节(页面没给标题加 id 的,到文章开头);摘要是该节第一段的节选
| 章节 | 第一段 | 讲到的实体 |
|---|---|---|
| 为什么是「长时程」:评测前沿的整体平移 | 3 | |
| 四个基准,各自在测什么 | 2 | |
| 四个独立信号,收敛出四条结论 | 0 | |
| 能,但还不稳;越长越作弊 | 1 |
共 4 条 · 数据 2026-11-13
这篇文章讲到的机构、人、App 和模型 6 个 · 名称匹配(名字在标题或导语里是「主角」,只在正文里是「提及」),待复核;按它们在各章节里出现的次数排
被讲到最多的(按章节数)
共 5 条 · 数据 2026-11-13
机构 · 5
- Anthropic公司 · 9 个模型 · 1 个 App
- Google公司 · 14 个模型 · 6 个 App
- GitHub公司
- METRAI 自主能力评估 · Berkeley
- AI Safety Asia非营利机构
共 5 条 · 数据 2026-11-13
App · 1
- Claude通用助手 · #2 · Anthropic
共 1 条 · 数据 2026-11-13
相关文章 文章末尾「相关文章」列出的
- 评分器不可写:长时程自动实验里的 reward hacking 与度量失效report
- LLM 能画出胎儿分娩机转吗?8 个模型的 SVG 医学画图测试topic
- Vibe Genomics:一个零实验室经验的人,用 Claude 在家测了自己的全基因组topic
- 问野的十六个深夜 · Night Labtopic
共 4 条 · 数据 2026-11-13