实体库 · NEO LAB 的研究方向
NEO LAB 档案 · 06 可解释性、对齐与控制
NEO LAB 档案 · 06 可解释性、对齐与控制:NEO LAB 档案的第 6 个研究方向,库里有 9 家实验室站在这个方向上(每家都是实体库里的一个机构)。
- 所属图谱NEO LAB 档案
- 研究方向第 6 个 · 可解释性、对齐与控制
- 说明看懂模型在想什么,并在它出错时守住底线。
- 实验室9 家 · 在 NEO LAB 档案页里看 ↗
关系 每条写成一句话:主语 → 宾语,点开看证据
所在的图谱 · 1
- NEO LAB 档案 · 06 可解释性、对齐与控制属于图谱「NEO LAB 档案」
证据 1
这个方向上的实验室 9 家 · 按编号
- №24 Transluce 用 AI 监督 AI:Docent 已被 Anthropic、DeepMind、METR 等 25 家以上机构采用。
- №25 Redwood Research AI Control:假设模型已经学坏,如何保证它造不成灾难。
- №26 Goodfire AI 给神经网络装调试器,把可解释性做成可出售的工程能力。
- №32 Apart Research 把 AI 安全研究压进 48–72 小时的全球黑客松,并经关联基金 Seldon 对接资本。
- №37 Tilde Research 不到 15 人的可解释性团队,把机械可解释性用在推理时精确控制模型。
- №41 CAIS(Center for AI Safety) 继 MMLU 之后出了 HLE、WMDP、VCT 等基准的 AI 安全非营利机构,也运营模型排名 Dashboard。
- №48 FAR.AI 红队研究、对齐领域建设与「越狱成本」榜并行的加州非营利机构。
- №59 Guide Labs 做带概念瓶颈的 8.4B 扩散语言模型 Steerling-8B 和归因平台 Clarity;成绩多为自测。
- №65 LawZero Bengio 创办的蒙特利尔非营利机构,做不带目标的 Scientist AI 当护栏;加德计划出资最高 3 亿加元,尚无公开模型。