推理成本的
下限正在消失

2023 年，运行一个 70B 参数模型需要 8 块 A100，硬件成本约 $200,000。2026 年 3 月，这个数字正在被压向 $300。Taalas 的 HC1 ASIC 已经在 TSMC 6nm 工艺上实现 Llama 3.1 8B @ 17,000 tokens/秒，功耗仅 2.5kW，插在普通 PC 的 PCIe 槽上。更激进的是他们的下一步：将整个 Qwen 3.5-27B 模型直接"烧入"定制硅片，目标是 Spring 2026 进入实验室，单位成本 $300–$400。

这不是孤例。同周，GitHub 上的 ATLAS 项目发布测试报告，声称一块 $500 消费级 GPU 在编程基准上超越了 Claude Sonnet。虽然具体数字需要独立验证，但方向信号是明确的：推理的"成本下限"正在以超出预期的速度下移。

GPU（尤其是 H100/A100）是为矩阵运算大规模并行设计的通用加速器。运行 LLM 推理时，最大的瓶颈不是计算，而是内存带宽——每生成一个 token，需要把整个模型权重从显存读出来一次。H100 显存带宽 3.35 TB/s，但一个 70B 模型权重就有 140GB，每个 token 的生成需要读取 ~140GB 数据，这形成了根本性的带宽限制。

ASIC 的破局方式是：不读权重，把权重变成电路。当模型被"烧入"芯片，权重就成了固化逻辑，推理变成了纯粹的前向传播而非"内存读取+计算"的双重瓶颈。代价是失去了通用性——一块 Taalas 的 ASIC 只能运行特定模型。但若你只需要一个固定的智能接口，这恰恰是你想要的。

与此并行的另一条路线是算法层面的极度压缩。Google Research 的 TurboQuant 声称通过 PolarQuant + QJL 将 KV 缓存压缩至 3-bit，H100 上推理速度提升 8 倍，无需重训练——这若成立，相当于在不换硬件的前提下把推理成本砍去 80%。

本周最值得关注的反例来自 ETH 苏黎世研究者：他们公开指出 TurboQuant 论文存在三项严重问题，论文声明与 RaBitQ 方法的描述存在重大出入。两条信息并置，揭示了 AI 推理优化研究的现状：真实进展与过度宣称并存，工程师需要等待独立验证。

同周，另一个信号来自完全不同的方向。LeWorldModel用 15M 参数（是的，1500 万参数）和仅 2 个损失项，在单张 NVIDIA L40S 上完成了完整世界模型的训练。规划速度比 DINO-WM 快 48 倍，在 Push-T 等物理仿真基准上超越参数量大得多的竞品。这不是一篇工程论文，而是一篇极简主义宣言——作者用统计学原理（Cramér-Wold 定理 + Epps-Pulley 正态性检验）替换了此前方法依赖的 6 个超参数和多个启发式 trick。

这与微软 Phi-4-reasoning-vision 的发现形成互证：用竞品 1/5 的训练数据（2000 亿 token vs 1 万亿+）训练出有竞争力的多模态推理模型，关键在于数据策略的精细设计（80% 感知 + 20% 推理轨迹的混合），而非数据规模的堆砌。极简设计 + 质量优先 + 领域特化，正在成为推理成本压缩的第三条路线，与 ASIC 硬件特化和算法压缩并行演进。

如果上述趋势延续，受影响最深的第一层是按 token 计费的云端 AI API。OpenAI、Anthropic、Google 的 API 收入依赖于用户无法本地运行足够强的模型。当 $300 硬件可以跑 27B 模型，一大类推理需求将直接从云端剥离，尤其是延迟敏感、数据隐私要求高、请求量大的场景（Agent 内循环调用、实时语音助手、企业内网 RAG）。

第二层是数据中心基础设施投资。英国《金融时报》本周的深度报道（Will the AI data centre boom become a $9T bust?）提出了一个尖锐的问题：当前 AI 数据中心建设规模是否正在重演 1990 年代光纤铺设过度的历史？若端侧推理成本持续下降，"云端大模型训练+推理"的计算密度预期可能在 2028 年前后迎来修正。

第三层，也是最被忽视的一层：AI 民主化的地缘政治维度。Taalas 的 ASIC、LeWorldModel 的单卡设计，意味着资源受限的机构（中等规模企业、学术机构、发展中国家政府）将获得此前只有 hyperscaler 才能触及的 AI 推理能力。这不仅是成本问题，也是 AI 能力分布的权力结构问题。