实体库 · 事件 · 行业信号

SemiAnalysis 首发 TPUv7 的长上下文多轮 agentic 实测:谷歌 TPU 在推理侧已是 CUDA 护城河的可行替代

SemiAnalysis 首发 TPUv7 的长上下文多轮 agentic 实测:谷歌 TPU 在推理侧已是 CUDA 护城河的可行替代(行业信号,2026-11-06):11-05 发布。此前(9 月)他们只有单轮 InferenceX 结果,这次放出第一批官方 AgentX(长上下文、多轮、真实 agentic 服务)跨四个模型的结果:GLM-5.2 vLLM FP8 下 TPUv7 是最便宜的 FP8 选项,在 60 到 300 tok/s/user 区间给出 B200/B300/MI355X 的 1.2 到 2.7 倍 tokens/美元(但 NVIDIA 的 NVFP4 仍更强,代价是精度损失);Qwen3.5 配 llm-d 分离式服务时 TPUv7 在所有交互档位都胜过 GB300 FP8,对 GB300 FP4 也能在同等质量下打平;Kimi K3 上是 GB200/B200/B300/MI355X 的 1.15 到 2.5 倍;连为 GPU 协同设计的 Meta Muse Spark Open 在 SGLang NVFP4 下 TPU 也拿到有竞争力的性价比。更关键的是软件侧:TPU 已经和 Meta PyTorch 团队、vLLM(Inferact、RedHat)、SGLang(RadixArk)、llm-d、Ray 等上游维护者打通,提交方里出现了 OSS 生态开发者而非只有谷歌自己。结论是 NVIDIA 历史上的软件生态护城河在推理这一侧第一次出现可行替代。

关系 每条写成一句话:主语 → 宾语,点开看证据

涉及的机构 / 产品 · 1
在 Landscape 的位置 · 1
文中提到 · 6

出处

它的邻居 箭头从「谁」指向「对谁」

数据