本期嘉宾，是清华大学的刘知远和肖朝军，他们刚在 11 月的《自然》杂志《机器学习》子刊上发表了封面文章：Densing Law of LLMS，大模型的密度法则。所谓“密度”，就是用更少的算力和数据获得相当乃至更多的智能。 刘知远是清华计算机系副教授和面壁智能首席科学家，肖朝军现在在清华做博士后，也是面壁 MiniCPM 系列的文本模型负责人。 图注：此图描述了 2023 年 4 月之后，主要开源模型的能力密度的变化。能力密度是衡量单位参数/算力下，模型能力的指标。目前版本的密度法则总结了预训练大语言模型的密度变化，o1、R1 等后训练强化学习对能力密度的提升尚未体现在指标里。 我们讨论了密度法则研究的源起，也展开聊了业界提升模型能力密度的具体做法：如何从架构、数据治理、算法和软硬协同优化 4 个环节着手提升模型能力密度。 而再往后，更大的密度提升，可能需要一些全新方法，因为强化学习的 Scaling Law 还未清晰展现，未来可能有两种技术路线：一是继续扩大强化学习的规模，观察其中是否涌现更多泛化能力；二是寻找新的学习方式。 在刘知远的设想中，未来，更高密度的模型，会支持每个人在端侧的专属模型，智能会分布式存在：也许手机都不是最终的入口，而是一个可以随身携带的个人计算设备：“就像一个可以随身携带的 NAS”。 图注：达到 GPT-4V 水平的模型参数规模随时间增长迅速缩减，而端侧算力快速增强，当芯片电路密度（摩尔定律）和模型能力密度（密度法则）两条曲线交汇，端侧设备将能运行以往只能在云端运行的大模型。 性能一直是人们更关注的模型演进的脉络，而这期我们会讨论，在另一条主线“效率”上，我们可以做出什么努力。 本期嘉宾： 刘知远，清华大学计算机系副教授、面壁智能首席科学家 肖朝军，清华大学计算机系博士后、面壁智能 MiniCPM 系列文本模型负责人 本期主播：程曼祺，《晚点 LatePost》科技报道负责人 时间线跳转： -大模型时代的“摩尔定律” 02:09 Gemini 3 和 Nano Banana Pro 的启发：统一的“自回归式视觉+语言生成”即将突破 04:31 大模型演进的两条主线：能力和效率 10:23 和摩尔定律一样，“密度法则”是行业现实，也是“自我实现” 18:43 每 3.5 个月，大模型的能力密度翻一番 21:01 2023 年下半年的抉择：花几千万再训一个更大的模型，然后呢？ -提升密度的四个环节 27:08 架构、数据、算法、软硬协同优化 30:41 (1) 架构：MoE (混合专家系统) + 注意力机制改进 34:28 (2) 数据治理：Ultra-FinWeb 用 1/10 数据量达到更好效果 40:24 (3) 算法：RL 还没有 Scaling Law，接下来可能有两条路 49:21 (4) 软硬协同优化 52:02 InfLLM-V2 的核心更新：把稀疏注意力做到预训练阶段 55:18 注意力改进趋势：长文本不仅是长输入，更多关注“长输出” -大模型上车、上手机 58:53 5 年内，手机可跑 GPT-4~5 级别的模型 01:06:23 大模型在汽车上已开始量产落地 01:10:34 “别人得到的，不一定是你失去的”，AGI 既会发生在云端，也会发生在终端 01:15:07 未来入口也许不是手机，而是属于每个人的移动计算终端 -AGI 下一步：自主学习 + 分布式的智能 01:17:40 自主学习→AI 协作网络→真正的创新 01:21:04 2023 年初，有巨头说世界上只会拥有几个大模型，就像 1943 年，IBM 董事长曾说全球不需要超过 5 台主机 01:24:46 AI 助手帮成为更好的工作者 01:28:53 不担心生产过剩，未知领域还太多 01:31:39 机器制造机器，AI 制造 AI 01:40:01 ☆连点成线 相关链接： 晚点聊 143 期：《再聊 Attention：阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进》 晚点聊 103 期：《用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进》 剪辑制作：Nick 附录，本期提到的一些论文（更多具体名词解释，见本期文字版）： Densing law of LLMss（《大模型的密度法则》） Efficient GPT-4V level multimodal large language model for deployment on edge devices（本期中提到的，具身行业喜欢引用的图的原始论文。） InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation（InfLLM 稀疏注意力改进的第二版。） 本期主播： 小红书@曼祺_火柴Q即刻@曼祺_火柴Q ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：

「不仅是提效，线性注意力在数据受限情况下的更多潜力。」 今年初的两期节目（103、104 期）里也讨论过注意力机制，这是大语言模型的核心机制。 9 月 和 10 月，阿里和 Kimi 都发布了相关进展，而且都用到了一个线性注意力成果，DeltaNet。 本期嘉宾，就是 DeltaNet 的核心贡献者之一，现在在 MIT 读博士的杨松琳，她也是线性注意力开源小组 FLA 的发起者。 这期节目在 25 分钟以前很硬核，松琳讲了线性注意力和 DeltaNet 的发展脉络，为何 21 年刚被提出时没引起太多注意，后来怎么进化的。 25 分钟以后，是关注 AI 比较多的文科生，比如我也能完全跟上的部分。我们讨论了，重新去做 full attention 的 MiniMax，以及未来要在旗舰模型上用线性注意力的 Kimi 和阿里的不同选择；线性注意力的优劣势；以及一些脑洞——如果算力无限，还需要线性注意力？松琳给了很有启发的回答。 最后半小时，松琳分享了她作为研究员，怎么习得交叉技能的，怎么开始发起FLA小组等成长经历。 本期嘉宾：杨松琳，MIT 博士生在读，DeltaNet 贡献者 本期主播：程曼祺，《晚点 LatePost》科技报道负责人 时间线跳转： -DeltaNet 的诞生演进与近期动向 02:07 注意力机制是什么？ 04:21 DeltaNet 的提出，用 Delta Rule 来增强 in-context retrieval 09:41 近年的改进主要是模型架构，而非“更新规则” 14:25 阿里 Qwen 团队 apple to apple 比较几种线性注意力混合方式；Kimi Linear 对 Gated Delta 的具体改进 17:00 更新规则和模型架构改进的区别：更新规则是在算子层面“动刀” 19:50 算法出身，自学 Infra；学习 Hazy Research Group 的风格 23:28 Qwen 和 Kimi 大概率在下一代旗舰模型用线性注意力，而 MiniMax 用回 full attention；DeepSeek 目前释放的改进都是“稀疏注意力” 37:07 稀疏注意力 vs 线性注意力潜力对比 39:40 即使算力无限，线性注意力仍有价值，因为它在有限数据中的学习效率更高，而高质量数据正是当前瓶颈 42:28 线性注意力在状态追踪上也可能有效果优势，而状态追踪对 Agentic 很重要 47:33 线性注意力的“归纳偏见”和 The Bitter Lesson：先验与 scalable 并不矛盾 49:30 回应 RWKV（原始智能）彭博：从未说发明 DeltaNet，一直在给 Schmidhuber 署名 -Householder 与 DeltaNet 的联想，像运营产品一样运营技术社区 51:51 关注注意力改进的起点，数学知识、Infra，交叉能力怎么积累？ 58:48 发现 Hoseholder 累乘和 DeltaNet 关联的过程 01:02:44 AI 何时能像人这样产生联想？——Prompt 合适，大模型应该能独立发现这个算法 01:04:11 FLA 小组的产生，受 Tri Dao 做 FlashAttention 的启发，像运营产品一样运营技术社区；Kimi 从 FLA 小组招募了线性注意力研究者 -注意力改进的未来趋势 01:11:24 稀疏注意力的改进，DeepSeek 年初 NSA 到最近 DSA 的变化 01:16:44 线性注意力的改进，从线性混合全注意力，到线性混合稀疏注意力（比如混合 DeepSeek DSA 和 Kimi KDA 😀 01:21:10 更广泛来说，关注何种模型演进？——持续学习 相关链接： 图文版：《再谈注意力：阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进丨晚点播客》 晚点聊 103 期：《用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进》 晚点聊 104 期：《我给线性注意力找“金主”，字节 say No，MiniMax say Yes》 剪辑制作：Nick 附录，本期提到的一些论文（更多具体名词解释，见本期文字版）： Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention Linear Transformers Are Secretly Fast Weight Programmers Parallelizing Linear Transformers with the Delta Rule over Sequence Length Gated Linear Attention Transformers with Hardware-Efficient Training Recurrence-Complete Frame-based Action Models 本期主播： 小红书@曼祺_火柴Q即刻@曼祺_火柴Q ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：

教育或许是最难被技术改造的领域，因为它太强调互动、个性化的体验与启发性的反馈，这个过程既难标准化，又无法快速复制。 直到大模型的出现，让人第一次看到了教育被技术大规模改造的可能性。市场上旋即涌现出来的各种五花八门的 AI 教育产品，它们从各种层面试图运用大模型的能力，但也反映出在原理技术到面向市场的商业产品之间，大模型在教育场景的落地还存在着一条难以被清晰描摹的鸿沟。 今天的播客，我们与斑马首席产品官修佳明探讨了这条鸿沟本身，以及斑马逾越它的方式。 基于大模型特点，原生构建的 AI 教育产品应该是什么样的？如何摆脱工具属性，让大模型 Agent 成为一个可以主导教学过程的教育产品？如何设计教学梯度、节奏和目标，既能发挥大模型的主动性，又不让一切偏离教学目的本身？如何让大模型更好理解人类在教学领域积累的各种经验，让它更好实践已被证明有效的各种教学法和教育心理学方法？ 对这些问题的回应将决定一款 AI 教学产品的本质，进而决定它的商业化前景。修佳明给出了斑马的回答。 本期节目由 斑马口语 特别支持播出。 本期嘉宾：修佳明，斑马首席产品官 本期主播：申远，晚点 latepost 记者 时间线跳转： -Part1：斑马心中的全栈式 AI 教育产品 04:36 确定性的方向 08:01 与模型“搏斗” 13:58 为什么开发 delay 了？ -Part2：主动性 VS 被动型，斑马产品的核心差异 20:56 从维持能力到突破能力 24:08 让大模型学会人的教学经验与教学法 29:36 更难的是对（教学）难度的控制 34:16 这种模式适合所有人吗？ 35:54 让 AI 提供一种教学情绪价值 41:38 对 AI 外教人格的理解 -Part3：将 AI 产品推向市场 47:37 试用用户的反馈与规则设定 52:06 如何衡量 AI 的教学能力？ 56:28 未来的 AI 教学产品会如何发展 59:22 如何运用数据和经验：斑马的 AI 壁垒在哪里 01:04:05 AI 产品还是教育产品？斑马的付费和定价策略 相关链接： 《主导型教育 Agent 产品，是口语学习的终极答案吗？》 本期主播：申远，晚点 latepost 记者 ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：

「大家更关注 PMF 的 M（需求），但有时 P（产品）做得足够好，M 就能自动打开。」 “大疆系”正成为创投圈的一股小风潮。2023 年夏天，洪小平创立 Strutt（若创科技），他曾任大疆光电部及激光雷达产品线览沃负责人。 Strutt 的首款产品 ev¹ 即将在明年初正式发售 ，它看起来是一台电动轮椅，而洪小平告诉我，ev¹ 不是一台智能轮椅，“而是一种新的移动出行设备”。这听起来有些抽象，直到我在旧金山遇到了 ev¹ 的用户：双臂残缺，只有两根手指的 Usman；脊椎脆弱的 16岁少女 Ali，和患有多发性硬化症的 Joe。 旧金山试用会现场，Scott、Micah 两位 YouTube 博主和 Usman 坐着 ev¹ 比赛，看谁先到达车道末端。（这张照片里就有两台 Insta360 X 系列全景相机，现场也有好几台大疆 Pocket 3。） 我更多感受到的他们与我们的相同。他们不仅想要基础保障，也想要更好的生命体验。科技爱好者 Usman 戴着 Apple Watch 和 Ray-ban Meta，他曾用 Vision Pro 操控 ev¹；Ali 给轮椅编织了花朵；Joe 那天分享了很多他年轻时旅行和玩帆船的旧照片。他们渴望的不是另一台轮椅，而是减少出行顾虑，能去更多地方的自由。 我自己也两次试用了 ev¹，Copilot+ 模式的驾驶体验对我来说也很有趣。洪小平设想，在大型公园、机场等区域，更多人可能都需要 ev¹ 这样的设备。 本期，这位曾经在伯克利研究纳米材料的物理学博士，分享了他在大疆，如何从研究者转型为业务负责人；以及创业两年半以来，组建团队，开发产品、做减法的历程。 本期访谈的图文版：《大疆览沃前负责人洪小平创业：我做的不是一台电动轮椅》 本期嘉宾：洪小平，Strutt 创始人兼 CEO 本期主播：程曼祺，《晚点 LatePost》科技报道负责人 时间线跳转： -投资人总问：为什么你们不做人形机器人？ 02:07 伯克利物理学博士→组建大疆光电部：奔着量产做激光雷达 08:26 大疆→南方科技大学：新工科教育 & 思考创业，锁定「机器人」方向 14:03 直接做人形机器人和具身“终极形态”，是“有方法、没路径” 18:04 OpenAI 加大投入 LLM 时，已有早期信，具身没到这个状态；识别早期信号的核心是数据积累 22:43 看到“老龄化”去收，就是它了！ 25:13 个人移动设备能获得宝贵的家庭、生活场景数据 -ev¹ 的诞生，它不是电动轮椅 29:28 ev¹ 是泛个人出行设备，它的完整体验 35:07 出行的自由和喜悦，不分健康或残疾、衰老或年轻 41:13 大家更关注 PMF 的 M（需求），但有时 P（产品）做得足够好，M 就能自动打开 43:26 ev¹ 的开发，从做加法到做减法 47:51 观察用户说不出来的需求； 51:19 ev¹ 也是一个 Robot Helper 和机器人平台：可加传感器、执行器、计算单元等配件 56:50 在双滚机上做 200 万圈测试 58:33 “产品真正帮到人”的感觉，很触动 01:00:54 Go to Market 策略：定价、渠道、规模 -什么是一个好团队？大疆怎么又极致，又“舒适”？ 01:03:55 创业，从“定义一个好团队”开始 01:07:25 大疆的“舒适”：技术说话、以结果论英雄、可以专注自己的事 01:12:35 应对未来可能的竞争：品牌、专利布局、团队综合性，本质是团队效率 01:19:33 消费科技公司，在高效 vs 速度上的分布：追觅、Insta360、大疆 01:22:39 为什么大疆到 2019 年才定成文价值观？ 01:24:43 Next Question：跨越鸿沟——ev¹ 这样的产品怎么进入大众市场？ 01:28:06 连点成线：往期推荐 附（播客中提到的部分术语、人物的表达可见图文版，如 VLA、PaLM-E、RT-2、吴景深等，以下摘录文字版中没提及的部分）： 王铭钰：汝原科技创始人，大疆前研发副总裁，主导多款旗舰无人机的工程体系建设。（节目中提到的邀请洪小平加入大疆的港科本科同学） 魏基栋：松灵机器人创始人兼 CEO，大疆 Robomaster 业务的一号员工和联创，2016 年创业；库犸智能割草机即由松灵推出。 拓竹：一家 3D 打印机公司，旗下也有 WorldMaker 3D 模型共享平台；由陶冶创立，他曾任大疆动力系统部门经理、Mavic pro 产品经理、大疆消费级无人机事业部负责人。 Invacare：美国医疗辅助设备公司，以轮椅、助行器等康复产品为主营（节目中提及的已退市的行业公司）。 肖文龙：Strutt 联创，大疆早期动力系统技术负责人。 大疆 Inspire 产品线：定位于“专业级航拍/影视器材”的无人机序列，是航拍行业的主力设备与标杆产品。 张富：香港大学 工程学院机械工程系副教授，研究方向为激光雷达-惯性／视觉融合 SLAM 算法。 激光雷达 SLAM 算法：基于激光雷达点云定位与建图的算法，让机器人在未知环境中自行导航。 相关链接： 晚点聊 120 期：《科创板后再访Insta360刘靖康：这何尝不是一种极限运动！》 晚点聊 118 期：《天生卷王郭人杰：从 97 年的扫地机器人总裁到创业做家庭通用机器人》 晚点聊 87 期：《家里又多了个“怪东西”！与云鲸聊新消费电子品的诞生》 剪辑制作：甜食 本期主播： 小红书@曼祺_火柴Q即刻@曼祺_火柴Q ☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。 关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：