Guide Labs
概念写进训练，成绩多是自测

TechCrunch（2026-02-23）把它写成旧金山的创业公司，由 CEO Julius Adebayo 和首席科学官 Aya Abdelsalam Ismail 创立；YC 公司页写 Winter 2024 批次、成立于 2023 年、旧金山、状态 Active，创始人栏只列 Adebayo；GitHub 组织创建于 2023-08-04。官网的结构化数据给出法律名称 Guide Labs, Inc. 和旧金山的办公地址，没有写注册州。About 页自称是以产品为导向的研究公司，团队累计超过 20 年可解释性经验、发表超过两打论文，这是公司自己的统计。

人：Adebayo 在个人主页写自己在 MIT 拿计算机博士（导师 Hal Abelson），2022–2023 年在 Prescient Design 做博士后，此前是 Google 的 brain resident；Sanity Checks for Saliency Maps（arXiv 2018-10-08，与 Gilmer、Muelly、Goodfellow、Hardt、Kim 合著）是 About 页用来说明解释与模型决策过程大多无关的证据；TechCrunch 写 Adebayo 读博时开始这条线，并提到一篇 2018 年被广泛引用、证明现有解释方法不可靠的论文（没写题目，应指这一篇）。Ismail 在个人主页自称联合创始人兼 CSO、曾是 Genentech 旗下 Prescient Design 的高级机器学习科学家，Ismail 的 X 简介写 PhD，标注马里兰大学计算机系。Andreas Madsen 在个人主页的头衔是 Founding Research Scientist（不是联合创始人），Mila 博士，此前是独立研究者，自 2011 年起参与 Node.js；论文里数据加载器、多机训练框架、后训练和平台工程由 Madsen 负责。其余署名者的头衔来自官方博客：Nathaniel Monson（Founding Research Scientist）、Giang Nguyen（Research Scientist）、Saqib Azim（Research Engineer）、Isaac Plant（运营与商务负责人）、Zhichen Guo（Product Engineer），Muawiz Chaudhary 官网未见头衔。聚合站 grantmaking.ai 还把 Fulton Wang 列为联合创始人，官网、YC 页和技术报告署名里都没有 Fulton Wang，本刊没有核到。

钱：官方博客在 2024-11-17 写已完成 930 万美元种子轮、Initialized Capital 领投，参与者有 Tectonic Ventures、Lombard Street Ventures、Pioneer Fund、Y Combinator、E14 Fund 和若干天使；TechCrunch 与Pulse 2.0（2025-12-08 转述公司公告）都写作 900 万美元，Pulse 2.0 列出的天使包括 Jonathan Frankle 等。本刊没有找到种子轮之后的融资。聚合站 grantmaking.ai 的条目另列了一笔来自 Coefficient Giving 的 75 万美元“Open Access Interpretability Project”资助，本刊没有在资助方页面核到，只当线索。

模型卡给出的规格：8.4B 参数、上下文 4,096、词表 100,281（cl100k_base 加特殊 token）、已知概念 33,732 个、自学概念 101,196 个、分组查询注意力（32 个头、4 组 KV）、扩散块大小 64、bfloat16 约需 18GB 显存。骨干用块因果注意力：块内双向、块间因果，生成时按置信度逐步揭开被遮住的 token。在骨干与输出头之间插入一个加性瓶颈：隐藏状态等于已知概念项、自学概念项和残差之和，输出头是线性的，所以每个输出 logit 能精确拆成各概念的贡献。技术报告写这个概念模块在 8B 规模约占 4% 的参数，并称在前沿规模会低于 1%（外推）。

概念库来自 Atlas：从数百万文档里抽出数亿条自由标签，规范化成 3.3 万多个概念，再训一个标注器按片段给语料打标，共标注超过 1 万亿 token（技术报告 §4；官方在 2025-12-02 的Atlas 博客介绍了这套管线）。概念名由大模型命名，所以论文做了人类研究：抽 100 个概念，9 位标注员只看与概念关联度最高的词表，55% 的回应认为能识别出一个概念，27% 居中，17% 认为不连贯或噪声；另有 34 个概念的盲评里，Atlas 的标签平均 3.98 分（5 分制），独立人写标签 3.50 分。论文自己写明这个研究验证的是标注操作，不是逐个概念，下游使用仍需按领域审计。

三种归因：输入归因用积分梯度，基线取 [MASK]，理由是扩散训练让 [MASK] 成为模型见过的“此处无信息”状态；概念归因读 logit 分解，按片段汇总；训练数据归因是在训练语料索引里按表示相似度检索相似片段，论文对这一条的原话是“a scalable proxy for influence rather than a faithful or causal account”，即不声称是因果影响。steering 是把概念的嵌入方向加到被遮住位置的隐藏状态上（放大）或加反方向并用 ReLU 门限扣掉概念项（压制），中训练里专门加入了四段 steering 训练，每段过一遍约 4 亿 token 的 token 级概念数据。训练规模：预训练 1.2 万亿 token，320 张 A100 约 21 天（约 16.1 万 GPU 小时），再接 1,500 亿 token 的中训练，合计 1.35 万亿 token、7.6×10^22 FLOPs。主体语料是 NVIDIA 的 Nemotron-CC-HQ（真实文本 5,470 亿 token、对同一批文档做的合成改写 4,980 亿 token）。

技术报告的基准表有 7 项（HellaSwag、WinoGrande、PIQA、MMLU、ARC-C、GSM8K、Math）。Steerling-8B 均分 51.6；同行是 LLaMA2 7B 48.2、DeepSeek 7B 49.3、Gemma 1 7B 60.4、LLaMA3 8B 60.0、LLaDA 8B 61.8、OLMo 2 7B 67.3。六个同行的平均约 57.8，Steerling 低约 10.8%（本刊算术），与论文所说约 10% 以内一致；只有更早的 LLaMA2 7B 和 DeepSeek 7B 低于它。分项上差距集中在知识和数学：MMLU 46.4，对 LLaMA3 8B 的 65.4、LLaDA 的 65.9 差近 20 分，与 LLaMA2 7B 的 45.9 持平；Math 8.0，LLaDA 31.4；GSM8K 44.4，LLaDA 70.3。peer 的数字取自各自的模型报告（OLMo 2 的 PIQA 与 Math 取自 OLMo 3 报告），不是用同一套脚本重跑的。

论文说这些同行的训练算力是 Steerling 的 2 到 16 倍，官网论文页的表标成 LLaMA2 与 DeepSeek 约 2 倍、LLaDA 约 2 倍、OLMo 2 约 4 倍、Gemma 1 约 5 倍、LLaMA3 约 16 倍。论文没有写这些倍数怎么估的，而公司更早的口径是：2026-02 发布博客写同行的训练数据多 2–7 倍、算力多 2–10 倍。本刊按公开的训练 token 数用 6ND 粗算，LLaMA 3 8B（约 15 万亿 token）约为 Steerling 的 10 倍上下，低于标的 16 倍；这是本刊的粗算，没有核到论文的算法。要读成“同样算力下可比”，还需要同期同规模的不可解释对照，论文里这类对照只在最大 5B 的小规模扫描里有。

“可解释性不是税”这一条的证据来自缩放扫描：四个模型族（自回归、因果扩散，各带与不带概念模块），每族四个等算力切片，切片的目标算力是 6×10^18 到 3.09×10^20 FLOPs，最大骨干 5B。加上概念模块后，最优损失的渐近值在两个骨干上都下降，论文称这是一个固定的小偏移，不是随规模增长的惩罚；用小规模拟合外推到 Steerling-8B，预测验证损失 2.61，实际 2.72，差 0.11 nats（朴素对数线性外推差 0.47）。Steerling-8B 的 7.6×10^22 FLOPs 比最大切片大约 250 倍，是外推点，不在扫描范围内；摘要里的“三个数量级”怎么数出来的，本刊没有核到。

可解释性指标也是公司自己定义的四项：概念损失、概念独立性损失、概念贡献（logit 幅值里走概念模块的比例）、已知概念对齐（由 Mistral-Small-3.1-24B 当评委，5 分制给概念嵌入最推高的 token 打分）。中训练后概念贡献 0.876、对齐 3.77；官方发布博客写的是概念模块贡献超过 84%、已知概念检测 AUC 96.2%，这两个数字在 arXiv 论文里没有出现。概念贡献按幅值占比算，不是因果效应；本刊没有在论文正文里找到对输入归因和训练数据归因做删除类的忠实性定量测试。

论文 §9.4 把预训练中途看到却没处理的信号逐条写出来：一，MMLU 和 WinoGrande 在训练过半后开始下降（MMLU 丢了约四分之一的峰值），原因是遮盖课程过于激进，长时间处在 50% 以上的遮盖率；二，概念独立性损失在最后三分之一飙升（峰值约 2.7），已知概念头和自学概念头落到重叠的信息上，小规模消融里看不到；三，语料以 Nemotron-CC-HQ 为主，数学和代码合计只有略多于 1,000 亿 token，直到训练结束 GSM8K 和 HumanEval 偏低才发现；四，用最后一个预训练检查点做 steering，概念注入几乎没有响应。

第四点的数字：在 72 个随机概念上，直接把概念注入的方式概念得分 1.072、质量得分 0.972、二者调和均值 1.020；把概念标签写进提示的方式，概念得分 0.908、质量 1.588、调和均值 1.156。也就是说，注入最能把概念“推出来”，代价是文字质量；论文说约三分之一的低频概念在任何注入强度下都不激活。预训练检查点的基准是 MMLU 29.8、GSM8K 14.0、HumanEval 4.9、MBPP 0.4，七项均分 32.1。

补救是 1,500 亿 token 的中训练：加数学和代码、改遮盖课程、把独立性损失改成两项惩罚，并插入四段约 4 亿 token 的 steering 训练。结果是 MMLU 29.8 升到 46.4、GSM8K 14.0 升到 44.4、七项均分 32.1 升到 42.4（论文表 16，这一组均分含 HumanEval 与 MBPP，与上面与同行对比的 51.6 口径不同）；概念独立性损失下降 19%；steering 的调和均值 1.020 升到 1.148。中训练后的 steering 没有再与“写进提示”的方式并列比较，所以不能据此说概念注入已经超过简单提示。论文结论部分写明训练只到监督微调为止，基于奖励的后训练还只是展望。

公司的说法有三层。一是技术报告里的 steering 基准：72 个随机概念、由大模型评委打分，见上节。二是“不重训的对齐”博客：从 WildGuard 数据集抽有害提示，基础模型的攻击成功率约 80%，概念压制加响应引导后降到 29%，并称超过用 1 万条纠正样本微调 LLaMA-8B 基础模型的效果。博客没有给提示条数、判定有害的方法和微调基线的细节，这项结果也不在 arXiv 论文里；博客自己写明只刚开始做压力测试，效果取决于概念质量，主要在安全场景。三是Clarity 的产品演示：压制“Person-Role Nouns”概念让对“描述一个计算机科学家”的回答变得性别中立，是单个例子。

目前找到的独立测试是arXiv 2603.18353（2026-03-18，v1，8 位作者，分属 Waymark、UCSF、宾大、VCU、Stanford 等机构，自报无资助）：400 个医师判定的临床分诊小案例（144 个有危险、256 个良性），比较四类干预方法，其中概念瓶颈 steering 用的是 Steerling-8B（steerling 0.1.2）。Steerling 基线只检出 144 个危险案例中的 51 个（35%）；概念 steering 纠正了 85 个漏判中的 17 个（20%），同时破坏了 47 个原本正确的检出中的 25 个（53%），与随机概念扰动无法区分（McNemar p=0.84）；作者还报告 Steerling 的概念激活近乎全部低于 0.01。读这篇要带上口径：它测的是预训练基础模型在它没被训练过的医疗分诊任务上的表现，作者把 33,732 个概念称作“医学概念”，而 Guide Labs 把它们描述为从通用语料里归出的主题；结论只适用于那个任务和那个版本，不是对 Guide Labs 全部声明的检验。同一篇里其余三类方法也只纠正了少数错误（SAE 特征 steering 为零，线性探针加 TSV 约 24%）。

除此之外，本刊没有找到别的第三方复现——既没有人重跑它的基准，也没有人独立检验归因的忠实性或概念名的可解释性。本刊只看到零星的个人评论，没有成篇的质疑文章。

权重在 Hugging Face 的 guidelabs/steerling-8b（2026-02-22 建，119 个赞，HF 接口默认口径的近 30 天下载 205 次）。模型卡的许可写代码和权重按 Apache-2.0 发布，但同时写权重是供研究与评测使用的，训练数据（Nemotron-CC-HQ 含 Qwen、DeepSeek 生成的合成文本，Dolmino 混合）许可不一，正在评估上游许可对下游使用权重的影响，商用请发邮件询问。instruct 模型（guidelabs/steerling-8b-instruct，2026-06-17 建，近 30 天下载 159 次）没有模型卡，也没有许可证标注。

GitHub 仓库2026-02-22 创建，241 个星标、14 个 fork，Apache-2.0，没有正式 Release；README 要求 Python 3.13 以上、至少 18GB 显存，并写明训练数据归因“目前不支持”、微调代码不在这次发布里。也就是说，发布博客和 X 帖里最醒目的“追溯到训练数据”，在开源包里没有；它只出现在博客演示和封闭预览的 Clarity 平台上。开源包支持的是生成、概念归因、输入归因和概念 steering 的 notebook。上下文长度 4,096，按 2026 年开放模型的惯例是偏短的（本刊判断）。

Clarity 平台的登录页写明仍是封闭研究预览，另有等候名单；官方 2026-06-03 的介绍说未来几个月会加入输入归因。本刊没有登录，也没有试用。官方 X 账号有 1,528 个关注者，GitHub 组织有 6 个公开仓库，其中与 Steerling 直接相关的只有一个。数据集方面，概念标注的 FineWeb（guidelabs/fineweb-atlas，v0.1，odc-by）已公开。

忠实性的参照物。“精确分解”成立的前提是概念库本身可信。概念名由大模型命名，人类研究只覆盖 100 个概念（盲评仅 34 个），17% 的词表证据被评为噪声；概念贡献按幅值计算，说明预测大部分走了概念模块，不说明每个概念对应一个因果单元。训练数据归因是相似度检索，论文自己说不是因果影响。

能力的参照物。51.6 对的是 2023–2024 年的 7–8B 模型，没有与同期更新的小模型比，也没有同算力不可解释对照在 8B 规模上的结果；官网的“2–16 倍”算力口径随时间漂移，算法没有给出。

控制的参照物。steering 基准和有害输出降幅都是公司自测，且训练里专门加入了 steering 阶段；独立测试只有一篇，在一个陌生任务上为负。

口径细节。官网论文页的图注写“0.10 nats”，正文和 arXiv 写 0.11；Adebayo 个人主页把概念瓶颈生成模型的论文列为 ICLR 2024，而公司 About 页写 ICLR 2023；官网论文页标 2026-06-11，arXiv 在 2026-08-06 才提交，目前只有 v1。这些是小出入，列在这里是为了让读者对着一手来源核。

本刊没有核到的有：2024-11 之后的融资和估值；Coefficient Giving 资助的官方记录；Fulton Wang 是否联合创始人；注册州和登记日；Clarity 的实际客户与用量；“推理时自查并压制记忆内容”的实验依据；“80% 到 29%”的样本量与判定方法；同行算力倍数的算法；Steerling-8B 基准的独立重跑结果；GitHub 上 2026-10-22 新开的 PR #7 的内容。本刊也没有运行过模型。

站内对照：EP.108把它放在“不事后解释、把可解释性写进训练目标”一条，并注明是作者自述、本刊没有核到独立复现；同一领域的 Goodfire AI（事后的机制可解释性，做成调试器产品）、Tilde Research（应用机制可解释性与推理时干预）和 Transluce（用 AI 监督 AI）走的是另外几条路。