← 预测 PR · 0010 · 2026-07-03
类似 DSpark 的推测解码工程优化,以后会成为推理引擎的标配功能
待验证
预测人
冯小平(本人)
分类
AI 工程
做出日期
2026-07-03
目标日期
2027-07-03

冯小平判断推测解码(speculative decoding)这类工程优化会成为推理引擎的标配,带来数十个百分点的效率提升。

原话:所以 disspack 这种东西可能就变成了以后就是比如像推理引擎,GLM 这些东西一个标配。那我们以后可能至少大家用到这些推理引擎的时候,带了 disspack 的都能够有一个百分之几十以上的效率提升。
尚未验证。AI 会定期联网搜索相关进展,首次核查预计在 2026-08-02 前后进行。