EP.54 · 2025-09-19
AI Buzzwords · 档案
档案重建版 — 这一期的页面是后来根据当期录播逐字稿与信源清单还原的,按主讲当天的讲述顺序组织,不做事后追加。文中判断都是 2025 年 9 月当时的判断,未按后来的发展修改。
2025-09-19 · 71 分钟 · 逐话题

幻觉不是玄学,是评估奖励机制的问题

OpenAI 那篇讲幻觉的文章有个挺关键的结论:幻觉不是模型里的神秘故障,根子在评估和奖励机制上。顺着这个结论推下去,代价相当大——所有主流基准都得按这个思路重做一遍。

本期话题
  1. ChatGPT 周活接近 8 亿
  2. 幻觉的根因在评估机制
  3. R1 上了 Nature 封面,评审花了半年
  4. 侧信道:从电磁辐射里读东西
  5. 金融 agent 该怎么评测
01

ChatGPT 周活接近 8 亿

OpenAI 最近发社会影响类内容的频率明显高了,路数越来越像 Anthropic。这篇讲「人们怎么使用 ChatGPT」的文章,前面花了很大篇幅讲数据清洗和去个人身份信息,为后面的统计做铺垫。

最值得记的一个数:ChatGPT 的周活跃用户接近 8 亿。

顺带一个口径变化:现在大家开始普遍用 WAU(周活)了——不再是非 DAU 即 MAU,而是取了个折中的时间窗。

02

幻觉的根因在评估机制

同期那篇讲幻觉的文章,核心结论是:幻觉不是现代语言模型里的某种神秘故障,它背后是评估和奖励机制的问题——模型被训练成「宁可编一个也不要不答」。

于是结论落到:要衡量幻觉,需要好的 hallucination eval。

但真正的代价在后半句:他们其实已经有不少幻觉评测,问题是这些评测对大量 QA 类基准的影响非常小。所以真要解决,得把所有主流基准按这个思路重做一遍。

03

R1 上了 Nature 封面,评审花了半年

DeepSeek 的 R1 成了当期 Nature 的封面文章。论文本身还是那篇,区别在于它经过了长达半年的同行评审。

在这个领域,一篇被预印本世界早已读遍的工作,仍然愿意走完半年的正式评审流程,这件事本身就是个信号。

04

侧信道:从电磁辐射里读东西

聊到安全时提了一个方向:几乎所有元器件都会产生电磁发射,而这些辐射可以被转换、还原成有用的信息。

这类攻击统称侧信道攻击——对安全感兴趣的可以顺着这个词往下挖,能翻出很多有意思的东西。

05

金融 agent 该怎么评测

字节和哥伦比亚商学院做了个基准,针对的正是金融领域评测长期偏弱、偏静态的问题。它把金融 agent 的关键任务分成几类:

一、时间敏感型数据获取——比如「某公司最新的收盘价是多少」。这类问题没有绝对答案,它是实时的,怎么评测「取得对不对」本身就是个难题。

二、简单历史查询——比如「2020 年 9 月 27 日星巴克的总资产」,考的是能不能从历史财报里找准。

三、复杂历史信息获取——比如「2010 到 2025 年标普 500 的增长情况」,需要跨期聚合。

把「取数」这件事本身当成评测对象,是金融 agent 和通用 agent 最不一样的地方。

每周 AI 情报 · AI Buzzwords · EP.54 · 2025-09-19 · 1 小时 11 分
档案重建版,依据当期录播逐字稿与 Notion 信源清单还原。← 返回分享列表
▶ 本期分享 · 视频导览 滑动到文章 · 高亮卡片点击播放对应讲解 收起 ▾