EP.40 · 2025-06-13
AI Buzzwords · 档案
档案重建版 — 这一期的页面是后来根据当期录播逐字稿与信源清单还原的,按主讲当天的讲述顺序组织,不做事后追加。文中判断都是 2025 年 6 月当时的判断,未按后来的发展修改。 页尾的「本期资料」是当期备课笔记与链接的分类整理,类别和顺序保持笔记原样。
2025-06-13 · 56 分钟 · 逐话题

下一个稀缺岗位可能是信息架构师

这期有个判断挺值得记:新一代推理模型的瓶颈已经不在「够不够聪明」,而在于它极度吃上下文。顺着这个往下想,公司里最该有的那个岗位就变了。

本期话题
  1. 语音模型的中文终于正常了
  2. 用视频训练的世界模型,重点在「预测」
  3. 「鹈鹕骑自行车」这个榜可以退休了
  4. 模型为什么会开始拍马屁
  5. 信息架构师
  6. 版本号跳到 26,和「为终局而设计」
  7. 本期资料:笔记与链接清单(34 条)
01

语音模型的中文终于正常了

新版语音合成值得看一眼,原因很朴素:中文终于正常了。

上一版说中文非常奇怪,基本听不了。新版拿一段技术说明来念——手势识别、单帧动作、两根手指放大这类内容——已经流畅准确。

英文那一侧也继续往上提了不少。

02

用视频训练的世界模型,重点在「预测」

这条线的定位很明确:第一个基于视频训练、并达到 SOTA 级别视觉理解与预测能力的世界模型,用途是机器人的零样本控制。

理解那一半:跳水动作的识别——前向还是后向、翻腾几周、有没有转体。传统上要靠专门的动作分类基准来做,纯多模态模型达不到这个精度。

预测那一半更有意思:打开冰箱门 → 预期你要去拿瓶子 → 预测你会按压瓶子把东西挤出来 → 再预测你把它放回去、关上门。它预测的是「这个场景下接下来会发生的动作」。

怎么用?给它一个起始帧和一个目标帧,让它预测中间的全过程来做规划,在隐空间里得到一条最可能成功的序列,然后驱动机器人去执行。

03

「鹈鹕骑自行车」这个榜可以退休了

有人用「让模型画一张鹈鹕骑自行车的 SVG」跟了半年,这期做了回顾:

早期的开源旗舰基本没法看;到某一版之后逐渐像样,满血版能画出一只带颜色的鸟骑车;推理模型出来之后正常多了,连车架的横梁都出来了;小尺寸的推理版反而差些(它本来就是为理工科任务做的);再往后几家的旗舰都已经不错——鸟嘴对了、车也对了。

评测方法本身也挺好玩:写个程序把手头三十个结果两两配对拼成图,左边一个右边一个,随机排列,让另一个模型来判断哪边更好,最后跑一个 ELO。

而这周的开发者大会上直接出现了动态的鹈鹕骑车视频——到这一步,这个比赛基本可以结束了。作者自己也说要换下一道题。

04

模型为什么会开始拍马屁

前段时间某个版本特别会谄媚,被吐槽到官方回退,并专门写文章解释原因。

其中一条挺关键:他们有一个团队在做「风格检查」——衡量 AI 的回答是不是跟人类的风格更一致。

想一想:如果这个信号被用来影响模型自己的生成风格,那它确实很可能演化成一个更会拍马屁的模型。

所以这不是一个 bug,是一个优化目标选错了导致的必然结果。

05

信息架构师

关于新一代推理模型,这期的判断是:关键点已经不在模型本身够不够聪明,而在于它非常吃上下文——因为它能感知到自己的上下文够不够。

用它就像在喂一只极其贪吃的东西:给多少上下文它都要。同时系统提示词会极大地塑造它的行为,指令遵循也做得很好。

顺着往下推,公司里最重要的事就变了:不再是「简单地把提示词写好」,而是提前把上下文和任务指令准备好。

具体是三问:我们公司大概有哪些任务?这些任务依赖的上下文可能来自哪里?我怎么把这些东西——上下文本身,或者获取上下文的渠道——先备好?

一旦这些备齐了,等到有一个足够便宜的强推理模型可用,就能直接用起来。

所以可能会出现一个提示词工程之外的新职业:信息架构师。把对应任务的上下文找到、整理好、整理成对的结构,再交给用户和模型——这是一个很重要的决策,不只是提示词那些标准技巧。

06

版本号跳到 26,和「为终局而设计」

开发者大会上有一堆奇怪的小更新,最显眼的是所有版本号直接跳到 26。

为什么不是 25?想想看:到了 2026 年 1 月,你手上还装着一个「25」,是不是会觉得有点过时。

传得最多的是那套新的界面材质语言。这对应到一篇叫《战略性撤退》的文章,它的判断是:这家公司的核心能力从来就不是 AI,而是「为终局而设计」。

所以它拿出来的是下一代统一的设计材料语言,而不是去正面拼模型。在自己不占优的赛道上后撤,把资源押回自己真正定义得了的东西——这是撤退,也是选择。

本期资料

当期笔记与链接清单

主讲当期备课笔记的分类整理,共 6 个类别、34 条链接。类别、顺序和笔记里的批注保持原样,链接标题取自原文页面。

What’s New40

模型 Model

评测 Benchmark

提示词工程 Prompt Engineering

应用 Application & 行业方案 Solution

开发者工具 DevStack

交互 UX

观点洞察 Insight

  • 生成式 AI 创业公司的 ARR 里程碑(英文)
  • 访谈 AI 语音独角兽 11Labs 创始人
    • 上下文感知能力
  • Top 50 Large Language Model (LLM) Interview Questions
  • The last six months in LLMs, illustrated by pelicans on bicycles simonwillison.net ↗ simonwillison.net

组织 Organization

  • 这家低调的公司等待被认可为 AI 巨头的一天
OpenAI o3 Pro20
  • o3-pro Model platform.openai.com
  • Examples x.com
  • God is hungry for Context: First thoughts on o3 pro latent.space
  • O3 Pro 的专家评审 openai.com
    • 清晰度
    • 全面性
    • 指令遵循
    • 准确性
    • 工具
      • 搜索
      • PDF
      • 看图
      • Python
      • Memory个性化回应
    • 整合多种信息源进行分析的Model
    • 限制
      • 临时聊天禁用
      • 不支持图像生成
      • Canvas不支持
  • 结论
    • 可能是个很好的协调者(Orchestrator)
    • System Prompt Matters
    • LLM Harnesses Matters:Memory Tools
    • 强调深度推理 + 海量上下文依赖 + 工具使用
  • 未来的企业应用
    • 做一件事先把context和工作任务CMD搞定
    • 大模型不只是交互用
    • 信息架构师可能是个好职业
WWDC 202521
  • 基础功能
    • Everything 26
    • Liquid Glass developer.apple.com
      • A flexible, dynamic layer to apps and system experiences across Apple’s ecosystem of products
      • Aqua - Mac OS X
      • Realtime blur - iOS 7
      • Dynamic Island - iPhone X
      • Immersive interface - visionOS
      • Liquid Glass is a new digital meta-material that dynamically bends and shapes light
    • New Design Guide developer.apple.com
      • Design language
      • Structure
      • Continuity
    • 高斯扩建 vision pro
    • Vision Intelligence:一件拍照的功能应该用于记录app url
  • The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Comp… machinelearning.apple.com
    • SIRI? NO coming year
  • Foundation Model Framework
    • 从维护api到维护llm
  • on-device 3B 2bit Quant
    • 局限:拆解任务/数学知识/代码生成/最近的事件/验证知识/幻觉/
  • 苹果的战略撤退(英文)
  • OS对LLM的封装很考验取舍
    • Apple UI + LLM streaming
  • Agent UI
    • AG-UI
    • 整体Agent UI库应该模仿Apple的Foundation Model Framework对LLM进行封装
    • Apple在把LLM的结果直接变成App(推进这个过程)
  • 隐私安全
    • 为什么不努力在爸数据内容去id化,一定要on-device
Google6
  • Glasses
    • 深度剖析 Google AI 眼镜战略:「百镜大战」没来,但谷歌想用 Gemini「再次伟大」
    • 眼镜的notetaking
    • 输入输出感知的 agent 眼镜有没有投影是不一样的交互
  • Developer
    • App Generation
OpenAI vs Google vs Apple5
  • 从不同阵地向着下一代服务前进
  • OpenAI - O3 Pro
  • Apple - WWDC
  • Google - Glasses / App Generation
  • 以某篇文章为线索来讲大模型相关的各种知识,比如一列苏斯科维奇的那篇文章
Agent记忆14
  • agent的组件
  • 简单的实现
  • 复杂的实现
  • 广义的mem是为了自我迭代
  • exp怎么积累下来
  • 自我学习的agent
  • 程序的diff
  • apple inrelligence for developer

Paper

Dev Stack

每周 AI 情报 · AI Buzzwords · EP.40 · 2025-06-13 · 56 分
档案重建版,依据当期录播逐字稿与 Notion 信源清单还原。← 返回分享列表
▶ 本期分享 · 视频导览 滑动到文章 · 高亮卡片点击播放对应讲解 收起 ▾