档案重建版 — 这一期的页面是后来根据当期录播逐字稿与信源清单还原的，按主讲当天的讲述顺序组织，不做事后追加。文中判断都是 2024 年 3 月当时的判断，未按后来的发展修改。 页尾的「本期资料」是当期备课笔记与链接的分类整理，类别和顺序保持笔记原样。
2024-03-14 · 72 分钟 · 逐话题
写提示词这件事，本来就该叫知识工程
这一期最值得留下的是一个改名：与其叫 prompt engineering，不如叫 knowledge engineering。你写提示词的时候真正在做的，是把自己脑子里那些说不出来的东西，一点点变成模型能读懂的形式。
01
轮扁斫轮，讲的就是隐性知识
与其叫提示词工程，不如叫知识工程——这是个更合理的名字。
想一想你写提示词的时候到底在干什么：你在调动脑子里那些隐性的知识，把它们当作概念，构建出一段能让模型读懂的东西。它本质上不是「写那段话」，而是把自己的隐性知识显性化的过程。
《庄子》里那个故事讲的正是这件事：齐桓公在堂上读圣贤之书，堂下的轮扁在削车轮。轮扁说，你读的那些能写下来的都不算什么——我做轮子，孔做宽了不牢固，做窄了转不动，那个分寸没法直接交给别人。
最重要的东西恰恰是写不下来的那部分。
这也是为什么「知识固化」几乎每个老板都很在意，但一问「什么算知识」，大多数人是懵的。
02
一个行为框架，不是思考框架
配套引用了一个框架，注意它不是用来思考问题的，而是用来决定怎么行动的。
两个轴：横轴是任务明不明确，纵轴是所需要的知识是简单还是复杂。
右下角是任务明确且知识简单——举的例子是银行柜台的办事员：你说「孩子在外面上学，我要汇款」，他立刻就能对应到具体业务上。
把任务放进不同象限，该用什么方式介入是不一样的。这比笼统地问「AI 能不能干这个」有用得多。
03
靠不靠谱，就看有没有先做评测集
把一条端到端的链路拆开看：微调和检索增强做的所有事，目的都只是让后面生成的内容准确率更高——它们只是整条链上的一个小环节。
而它们能不能做得更准，取决于评测。
这里有个很硬的判断标准：怎么衡量一家做大模型应用的公司靠不靠谱？看他有没有去做一个评测集，看他的产品是不是默认就以 evaluation first 来做。
这是玩票团队和严肃团队之间最大的区别。
还有一句同样值得记：做个 demo 极其容易，把它产品化极其难。——自动驾驶就是最好的例子。
「先建一套扎实的评测」应该是做任何大模型系统的起点。但现实是，几乎所有项目都把评测当成交付标准放在最后，做完了才 eval 一下。
04
让模型去写特征工程的代码
玩过数据竞赛的人都熟悉那一套：挑一批可能有用的特征，选一个不太会出错的模型，跑一遍最优化，看结果。
说白了这件事挺无聊的——无非是动用你的脑子去选特征。
有个项目干脆把这一步交出去：让模型来写所有特征工程相关的笔记本代码。
人退回到更高一层，只负责定义要做什么。
05
算力计算器，要算到最终用户头上
客户反复问的其实是同一类问题：跑你们的 6B 要多少 GPU？跑 32B 呢？要支持几个并发要多少卡？我现在这批老卡能不能跑得动？
光靠白皮书测试答不了。真正需要的是一个端到端的计算器，能从比较高的层面算出「你该花多少资源来搭这套算力基础」。
关键在于它不能只算模型推理那一侧，还得算最终消费者的 token 消耗量——
比如：一百个人，每人每秒 30 个 token，每天真正在读的时间大概半小时；再对上每张卡的吞吐，一乘一除，需要多少卡就出来了。
把「业务侧的使用量」和「硬件侧的吞吐」放进同一个公式，这个问题才算被认真回答。
06
「LLM ready」是个能对齐话语的概念
跟客户沟通时常出现的落差是：领导在意的是有没有业务价值，但同时也在问「我现在做得到那一步吗、我的基础准备好了吗」。
大概率是不行的——数据、技术基础、组织结构，三样往往都差一点。
所以需要一个能让双方在语义上对齐的概念：LLM ready，配一份从定性到定量的评估表，告诉客户你现在差在哪、差多少。
比空谈业务价值有用，也比直接上手做一个 demo 诚实。
同期还有几个数字可以拿来用：大模型预计带来约两千五百亿的利润增量；国内的大模型投标数据里，中标金额最高的是电信运营商——它的预算分布本身就能看出一些问题。
本期资料
当期笔记与链接清单
主讲当期备课笔记的分类整理，共 14 个类别、43 条链接。类别、顺序和笔记里的批注保持原样，链接标题取自原文页面。
Metric for CIT4
- Idea 采纳率
- 抽象指标
- 工作/生活含 Token 量
- 从客户需求出发
LLM for Nation4
- 微信公众号文章 mp.weixin.qq.com
- 假如这些场景能带来2500亿美金的利润增量是什么概念？
- 美国GDP 25万亿，多数的成本节省可能都会发生在美国的企业中，这相当于0.1%的GDP增量。美国未来一年的GDP增长2%。
- 这已经影响到了经济的发展。这也让AI成为一个真到不能再真的故事。
LLM for Enterprise56
LLM 产品开发
大模型投标落地
uniAPI Gateway
语义的力量 （Mermaid BPMN）
- ProcessOn思维导图流程图-在线画思维导图流程图在线作图实时协作 processon.com
- 员工提交报销申请的常规流程如下：
- 员工在发生费用支出后，应及时收集相关票据和资料，包括消费发票、报销单据、银行卡支付凭证等。
- 员工需要填写报销申请表，并在申请表上注明报销事项、金额、时间等相关信息。如有需要，还需附上相关业务事项的说明材料。
- 员工将填写好的报销申请表和整理好的相关资料提交给所在部门的财务负责人或者直接上级。
- 部门财务负责人或直接上级对提交的报销申请进行初步审核，确认报销事项是否符合公司规定和报销要求。如有疑问，可要求员工提供补充资料进行核实。
- 部门财务负责人或直接上级在确认无误后，将在报销申请表上签字批准。
- 员工将已审批的报销申请表和资料提交给公司财务部门。
- 公司财务部门对提交的报销申请进行复审，确保报销事项符合公司财务政策和法律法规要求。
- 财务部门在确认无误后，将在报销申请表上签字批准，并按照公司的付款流程进行支付。
- 财务部门将支付完毕的报销事项记录归档，以便日后查询和审计。
- 员工在收到报销款项后，需核对实际到账金额是否与申请金额一致，如有问题，及时与财务部门沟通解决。
- 整个报销流程结束后，员工应将相关报销资料归档，以备不时之需。
- 需要注意的是，不同公司的报销流程可能略有差异，员工在提交报销申请时，应根据所在公司的具体规定和要求进行操作。
- Online FlowChart & Diagrams Editor - Mermaid Live Editor mermaid.live
CAAFE for Scientist
Software Engineer 3.0 软件工程3.0
LLM + 软件工程
LLM + DDD
AutoGen CrewAI demo
- Sales: 秀肌肉 vs 其他 LLM（谁能跑通）
- Biz: 业务场景 （shikun）
OpenGPTs with GLM
LLM for Expert14
角色扮演
Prompt Optimization
Thinking framework for Expert
如何给大脑做 Offload - Personal info pipeline
OpenAI的管理方式
Context is Everything
- 上下文的重要性又来了
- Context generator 就是企业管理能力 vs 驭人之术（PUA 都可以变成 Prompt）
- 管理更重要 Context
Async Comm
嘿，去做这件事，完成后通知我。我现在不需要答案，希望你能花时间认真思考。
LLM for EDU9
试题生成
Research Assistant
LLM for ZhipuAI3
GLM on LangChain
- LangGraph
- Langchain 的各种 rag 策略对召回搜索的影响
Query judge
Security2
LLM itself9
FineTune Embedding
What’s is LLM
Foundation Agent
- 英伟达高级科学家Jim Fan：AI下一个前沿是基础智能体！
- Jim Fan提出了「基础智能体」（Foundation Agent），一个可以在虚拟世界和现实世界里泛化的通用智能体模型。从视频游戏和元宇宙，到无人机、仿人机器人的方方面面，这项技术将从根本上改变我们的生活。并探讨了单一模型如何掌握跨越这些不同现实的技能。Jim Fan认为「基础智能体」应该在3个维度上进行扩展：
- （1）技能，能解决的任务数量；
- （2） 具身，能控制的身体形态的多样性；
- （3）环境，智能体能掌握的虚拟或物理空间的数量。
Multion AI1
Fun parts16
IdeaPool2
- 阅读文章生成图谱 再实时合并图谱
- 给 6B 加上广告渠道
Focus5
Value add in a stage table1
Web32
每周 AI 情报 · AI Buzzwords · EP.3 · 2024-03-14 · 1 小时 12 分
档案重建版，依据当期录播逐字稿与 Notion 信源清单还原。
← 返回分享列表