Tilde Research
从解释到干预到修优化器

Tilde Research 由三位联合创始人在 2024 年创立、11 月正式发布:Ben Keigwin(CEO,代数几何背景,相信理解模型的路径在于找到表达问题的正确数学语言)、Dhruv Pai(CSO,Stanford STAIR Lab 博士生,研究学习动力学与稀疏自编码器理论)、Mason Wang(CTO,19 岁时参与联合创立)。团队获得 Khosla Ventures、Soma Capital、BCV 的 $8M 种子轮投资,天使投资人包括 MIT 数学教授 Yufei Zhao 以及多位 OpenAI、Anthropic 研究员。

公司的核心判断在 Founders' Letter 里说得很清楚:真正有用的 interpretability 不是解释模型"为什么"做了某件事,而是能在推理时精确控制模型"做什么"。这是对传统 XAI 范式(LIME、SHAP、attention maps 这类事后解释工具)的直接反驳——Tilde 认为那条路是死路。

Tilde 不是"只做 interp"的公司——他们把 interpretability 当作认识论工具,反哺训练科学。这条逻辑闭环是:理解模型内部如何计算,发现优化器的 bug,再设计更好的优化器。

2025 年第一季度,Tilde 连续发布三篇关键博客:Rate Distortion SAE 从信息论角度提出稀疏自编码器(SAE)的码率-失真权衡数学框架,解释了为什么"特征频率失衡"是 SAE 的系统性问题;Sieve 是最成熟的工程化产品——针对代码任务从头训练领域专属 SAE,实现自动化特征搜索加推理时干预,全流程不到 15 分钟,实验显示 SAE 干预在成功率、约束满足和通用性三个维度上都 Pareto 优于 prompting 和 steering vectors,已在 HuggingFace 开源(tilde-research/sieve_coding)。

2026 年 5 月发布的 Aurora 论文把这条逻辑推向了训练科学:通过对模型内部计算的细粒度分析,团队发现 Muon 优化器在处理 tall matrices(SwiGLU MLP 层)时会系统性"杀死"神经元,Aurora 通过联合优化正交性与行范数均匀性修复了这个问题,在 1.1B 模型上实现 100 倍数据效率,在 modded-nanoGPT 基准上达到新 SOTA(3175 步),论文作者仅 6 人,全部来自 Tilde,发布后在 MarkTechPost、Jack Clark 的 Import AI 等渠道获得广泛关注。

Tilde 与 Goodfire AI 的竞争关系值得一提:Goodfire 完成 $150M B 轮融资、由 Menlo Ventures 领投,Anthropic 机构参投,发布通用 SAE 产品 Ember;Tilde 在 Goodfire 发布 Ember 前一周发布了 Sieve,方向几乎完全一致,方法论上的分歧是 Tilde 坚持针对特定任务领域从头训练 SAE,而非用一个通用大型 SAE 覆盖所有任务。

SAE 赛道本身正处在信任危机中:DeepMind Safety Research 在 2025 年发表博客,报告 SAE 在下游任务上的负面结果,并宣布"deprioritising SAE research"——这对整个 interpretability 赛道是一记警钟。Tilde 的 Sieve 结果(SAE 超越 baseline)是对这个负面结论的直接反驳,但目前仍需要更大规模的独立复现才能真正站住脚。

资源不对称是绕不开的现实:Goodfire 的 $150M B 轮意味着 productized interpretability 已经被大资本认可,而 Tilde 只有 $8M 种子轮和不到 15 人的团队。Tilde 的赌注是数学严格性(代数几何、黎曼流形优化)、全栈视角(从 pretraining 到 inference)和小团队的理论密度能够弥补资源差距——Aurora 是这个赌注目前最有力的证据,但一篇论文的影响力和一个可持续商业模型之间还有很长距离。

目前没有公开信息能确认 Tilde 是否已有付费客户或 SaaS 收入,商业化路径仍然以研究产出为主。Aurora 虽然已经开源,但它是走向 SaaS 训练服务、API 产品,还是纯粹积累学术影响力,brief 阶段的信息还不足以判断。