冯小平判断推测解码(speculative decoding)这类工程优化会成为推理引擎的标配,带来数十个百分点的效率提升。
原话:所以 disspack 这种东西可能就变成了以后就是比如像推理引擎,GLM 这些东西一个标配。那我们以后可能至少大家用到这些推理引擎的时候,带了 disspack 的都能够有一个百分之几十以上的效率提升。