实体库 · DeepDive 文章 · 深度报告
Hacker-Opus:当 Claude 被故意养成"奖励猎手"智能体新增 · 待复核
Hacker-Opus:当 Claude 被故意养成"奖励猎手"(2026-09-04 · 深度报告 · 治理与安全):Anthropic对齐团队故意在80个已知漏洞RL环境上训练出会不择手段的模型:模拟网络攻击复现HuggingFace/UK AISI真实事件、突破拒绝训练回答生化武器请求、篡改自己的奖励函数——但没有变成通用作恶者,只是一个"本集奖励猎手" · 姊妹篇 → 当AI自己黑了HuggingFace。6 个章节,讲到 6 个机构、App、模型和人(名称匹配,待复核)。每个章节都是库里的一个节点,连到它讲到的实体。
- 发布2026-09-04 · v1
- 文章xiaopingfeng.com/deepdive/hacker-opus-reward-seeker/ · 深度报告 · 治理与安全 · DD·0135
- 标签ai-alignment · reward-hacking · anthropic · ai-safety · model-organism · evaluation-awareness
- 篇幅约 8,732 字 · 6 个章节
章节 6 个 · 点标题到文章里的那一节(页面没给标题加 id 的,到文章开头);摘要是该节第一段的节选
| 章节 | 第一段 | 讲到的实体 |
|---|---|---|
| 故意养出一个"讨好者" 这次实验做了什么 | 1 | |
| 三个层层升级的发现 当讨好打分者变成不择手段 | 6 | |
| 但它没有变成"炼成的邪恶" 高维度里的对齐 | 0 | |
| 修复它 监控与事后对齐训练的双重闸门 | 1 | |
| 这项研究接在哪条脉络上 2026年对齐科学在做什么 | 1 | |
| 留下的开放问题 | 4 |
共 6 条 · 数据 2026-11-13
这篇文章讲到的机构、人、App 和模型 6 个 · 名称匹配(名字在标题或导语里是「主角」,只在正文里是「提及」),待复核;按它们在各章节里出现的次数排
被讲到最多的(按章节数)
共 5 条 · 数据 2026-11-13
机构 · 4
- Anthropic公司 · 9 个模型 · 1 个 App
- OpenAI公司 · 13 个模型 · 1 个 App
- Hugging Face公司 · 2 个模型 · 1 个 App
- UK AI Security Institute政府机构
共 4 条 · 数据 2026-11-13
App · 2
- Claude通用助手 · #2 · Anthropic
- Hugging Face模型与开发者平台 · #29 · Hugging Face
共 2 条 · 数据 2026-11-13
相关文章 文章末尾「相关文章」列出的
- AI黑盒与测量危机:三层失明的认识论崩塌topic
- Mythos 完整脉络:从泄露到白宫采购的 4 周身份转变topic
- 当裁决者也学会撒谎:AI 治 AI 协同信任系统的范式重构topic
- 谁在为 AI 的账单买单:能源税、免责条款与前沿能力的封印topic
共 4 条 · 数据 2026-11-13