新模型发布后官网挂了一堆很漂亮的示例。把同样的输入原样打进去再跑一遍，结果差了不少——试了很多遍，没有一次是完整对的。
一份关于 AI 现状的报告里，最核心的一条是：大家最希望 AI 落在哪个领域？还是软件开发交付。
而且对 AI 的需求还在持续走高。
在所有被讨论的场景里，这一条是最经得起反复验证的——因为它的产出可以被直接测量。
新模型出来大家都觉得特别厉害，官网挂了一大堆示例。把同样的输入原样打进去试一遍，就会发现实际效果比示例差很多。
举的例子是一段打字机效果的文本渲染：试了好多遍，没有一次能完整对上。至少能看出来是两段，但细节全是错的。
合理的猜测是：那些示例是从大量结果里挑出来的——要么人工挑，要么再拿一个算法筛一遍。纯靠人工去挑还挺累的。
同期界面本身的 bug 也不少：点一次没反应，多按几次回车，结果它卡住之后把同一件事连着执行了好几遍。
有一个容易被忽略但很实际的变化：tokenization 改了，中文变省了。
实测：34 个中文字符现在只占 24 个 token，约 1.4 个字一个 token。而以前同样的 34 个字符至少要占四十几个 token。
这对国产模型的影响是直接的：此前一直讲的「我们一个 token 顶 1.6 个中文字」这个优势，在对方从「不到 1 个字」跳到「1.4 个字」之后，就没那么直接了。
压缩率是成本，也是上下文长度的实际可用量——它变了，报价和窗口的对比口径都得跟着重算。
这个项目最近很火，思路很清楚：你写的不是提示词，是一段工作流——先 retrieve 什么内容，再组成思维链，然后做预测和生成。
写法跟用 PyTorch 写神经网络非常像：有 initial，有 forward，一层层往下迭代。
更上层还有一个编排的部分：你进去的时候只给一段很简单的话，它最后编译出一段特别长、很专业的提示词。
为什么这件事重要：业务人员做调优通常只能靠一两次、很小量的实验，覆盖不到那些没人想得到的情况。把调优变成可编译、可搜索的过程，才补得上这个缺口。
用一个产品时，右下角弹出一个对话框来收集信息、然后发一份公司报告——大量咨询公司的表单都是这个套路，现在换成了聊天机器人来做。
于是流程变成：「能给我你的邮箱吗」→ 回一句 → 「你的 first name 是」→ 再回一句 → 「last name 呢」→ 再回一句……一步一步等下去。
而原来怎么做？点一下表单，浏览器自动补全所有字段，提交，完事。
把一次提交拆成一长串来回，这是非常典型的逆向优化。如果以后都发展成这个样子，真的是历史的倒退。
这条线最强的地方其实是工程：做出一个巨大的图，以及把这张图生成出来的工程能力——很可怕的工程能力体现。
实用价值在边缘情况：把特殊知识故意加进去，那些原本处理不好的边角 case 就能解决得挺好。
而且它对上下文的压力反而小：取回来的信息比分块切出来的精准得多，占的 context 也更少。
所以判断是：基于图去做，效果会比现在这种静态切分、或者稍微带点语义的切分好很多，一定程度上会取代现在的做法。
运维这条线上，最落地的材料来自开源厂商而不是分析机构——看 AIOps 类的东西直接去搜他们就行，比那些行业报告落地得多。
典型场景是预测式告警：先用机器学习预测一些事件，给值班工程师提前提醒，再让人去处理；整条链上很多环节可以全自动化。
把这套东西对回大模型系统，会发现关联点非常多：大规模且异构的召回怎么保证在延迟内稳定返回、服务编排、缓存、日志——每一条都是运维该管的问题。
最后那句挺扎心的：模型训练的那套基础设施是为了造 AI，但这套基础设施本身并没有用上多少 AI。大家还没怎么认真想过「怎么用 AI 去提升 AI 的 Infra」。