张小珺Jùn｜商业访谈录

今天的嘉宾是战略学家曾鸣教授。曾教授曾经是阿里巴巴集团总参谋长，也参与过两所商学院创建（长江商学院和湖畔），但他更令人熟悉的身份是：一名对企业战略有许多深度思考的研究者。不少创业者和企业家都受到过他的启发。 作为观察过互联网完整周期的研究者，今天我们聊了聊他对AI新时代、新范式的完整思考，并和历史上关键转折时期做了对照——聊完让我有了更全局的视角。 对AI的产业发展，曾教授提出了许多非共识判断，甚至是一些“暴论”。 这里我先摘录15条： AI产业化会有三个阶段：1）第一个阶段，技术逐渐被社会接受，成为社会基础设施；2）第二个阶段，基于基础设施产生海量新应用，进入百花齐放的时代；3）第三个阶段，当这些海量应用出现，大家发现需要一些更底层的方法运行新的世界，我把它叫作“原生应用阶段”。 我只是研究商业世界的动力学规律，我能看到的理论框架告诉我：第一阶段的企业，很难活到第二阶段；第二阶段的企业，很难活到第三阶段。 对比互联网时代，我们现在刚刚走到浏览器阶段，甚至比Yahoo还要早。 模型公司怎么类比？它有点像另外一个已经消失了的公司——美国在线AOL，它是互联网基础接入服务商，让所有人都能够接到互联网上，这本身是个巨大的工程。今天，大模型则是让所有人都可以轻易接入智能的入口，它也是一个基础设施服务商。 直白一点说，模型公司就是未来的AI云公司。 公共基础设施的行业，只有一种商业模式是成立的，叫寡头垄断加政府强监管——我知道这个现实对很多现在创业的人很残酷。 Anthropic、OpenAI，大概率不是原生应用阶段的大玩家、大赢家。 因为经济学基本规律，只要有同质化的供给，你就不可能获取高额利润，你就是一家不怎么值钱的公司。 下个阶段就是看谁是Netscape、谁是Yahoo，谁把Agent的标准建立起来，谁抢住Agent的用户入口。未来三年是有可能开始出现Agent入口的。 新的平台大概率不诞生自旧的平台。因为旧平台做的是简单信息匹配，新平台要做的是能力跟需求的匹配，复杂度高了很多。 作为工业化革命的产物，科层制管理的公司制度会衰亡——就是说，“公司”会消亡。这没有什么可以遗憾的呀，将来有更好玩的——你说多少人现在去公司上班是开心的？ 我从来觉得在巨浪面前没有人是安全的。谁觉得安全，谁就是最不安全的。 CEO不能有老板心态。谁还认你啊？——现在说我都不陪老登玩了，我还陪你老板玩？ 张：这个时代的企业过渡到下一个时代的企业，还能做得非常好的，多不多？曾：不是多不多的问题，是有没有的问题。张：有没有？曾：基本没有。 这一点都不让人绝望啊，人有生老病死，公司也有生老病死，没有比这更正常的了。这样，新公司才有机会，年轻人才有梦想，这多好的一件事情啊！ 好了，更多内容还是收看我们的播客吧:) 接下来，就是我对曾教授的访谈。 OUTLINE: 00:03:08 来自商业规律的残酷真相 00:39:53 新平台不来自旧平台 01:06:15 “公司”要被淘汰 01:31:10 优秀≠卓越 01:38:17 战略生成系统 02:02:48 没有巨头是安全的 02:18:01 创造就是“无中生有” LINKS： 我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出； 我们的视频播客在小宇宙、Bilibili、小红书、视频号、抖音等全视频平台播出； 如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。 DISCLAIMER: 本内容不作为投资建议。 CONTACT: [email protected] Jump into the new world-and explore with us!😉

今天的节目是一集学习播客，学习Kimi K3技术报告，希望和大家一起领略“技术之美”。 K3是有效扩展到2.8T总参数并全量开源的MoE模型。大家可能注意到，这集技术报告的领读距离模型发布已经过去一段时间。期间，我们试图寻找一位合适的嘉宾，我们希望这位嘉宾的学术和工作背景非常适合讲K3。最后找到孙宇涛。 宇涛目前是清华大学计算机系博士候选人，上海创智学院璞锐学者。他从博士开始的研究方向是LLM架构、预训练，架构创新一直是他的兴趣点，这正好是K3亮点之一。 宇涛透过领读K3技术报告也串联讲解了十多篇相关论文。他的语速非常快——前方语速预警。 OUTLINE: 02:00 宇涛的自我介绍和研究经历，为什么对架构创新最感兴趣？ 16:05 从Kimi K3论文出发，论文讲解的框架与脉络 19:02 宇涛开始领读论文： 1 导读 Kimi K3将设计概括为沿sequence、depth和width三个维度扩展信息流；其中depth与width本质上仍是模型容量扩展的两种组织⽅式，这⼀“三维 scaling”更多是贯穿论⽂的叙事框架。 2 Model Architecture 2.1 线性注意⼒的前世今⽣ [Microsoft Research] RetNet：最初的 data-independent decay 与 chunk-recurrent 递归形式 [NVIDIA] Gated DeltaNet：引⼊ gated delta rule [Moonshot AI] Kimi Linear：fine-grained decay及其带来的infra变化 2.2 Gated MLA [Alibaba Qwen] Gated Attention for Large Language Models：attention gating与训练稳定性 2.3 Attention Residuals [Microsoft Research] On Layer Normalization in the Transformer Architecture：Pre-LN、Post-LN与训练稳定性 [ByteDance Seed] Hyper-Connections：残差连接的新维度 [Moonshot AI] Attention Residuals：以跨深度attention取代固定残差累积，使各层选择性聚合此前表⽰ 2.4 Stable LatentMoE与SiTU-GLU [NVIDIA] LatentMoE：通过latent expert space降低MoE通信与权重访问成本 [OpenAI] GPT-OSS：以clamped SwiGLU控制激活值 2.5 Muon [Moonshot AI] Moonlight / Muon is Scalable for LLM Training：更好的优化表现及随之突出的 activation outlier问题 2.6 Quantile Balancing [科学空间] 《MoE环游记：6、最优分配促均衡》：从最优分配推导Quantile Balancing 2.7 Native Vision 3 Pre-Training 3.1 Scaling Law [OpenBMB] MiniCPM：WSD的训练预算扩展、稳定阶段复⽤、继续训练与提前停⽌ 3.2 Long-Context Extension [Cohere] RNoPE：交替使⽤RoPE与NoPE，兼顾位置建模与长上下⽂检索 4 Post-Training 4.1 Post-Training Pipeline 4.2 Reinforcement Learning [Moonshot AI] Kimi K1.5：提出partial rollout，通过复⽤未完成轨迹降低长CoT rollout开销 [Moonshot AI] Kimi K2.5：reasoning-effort budget control 与 Agentic Generative Reward Model 4.3 Multi-Teacher On-Policy Distillation [Microsoft Research] MiniLLM：基于student-generated samples的on-policy distillation 4.4 Deployment-Aware Post-Training 4.5 Draft Model Fine-Tuning 5 Infrastructure 5.1 Pre-Training 5.1.1 KDA Kernel [FLA] Flash Linear Attention：KDA kernel与线性注意⼒⾼效实现 5.1.2 Distributed Training [DeepSeek-AI] DeepSeek-V3 Technical Report：DualPipe与细粒度MoE communication–computation overlap MoE overlap的资源trade-off与cross-PP activation transfer 5.1.3 Perfectly Balanced Expert-Parallel MoE Training 5.1.4 Memory-Efficient Training [Moonshot AI] Mooncake：Mooncake Transfer Engine与cross-PP activation remote offload 5.1.5 Multimodal Encoder Optimization 5.2 RL 5.2.1 Long-Context RL Infrastructure 5.2.2 Sandbox Infrastructure 5.3 Inference 5.3.1 KDA-Aware Prefix Cache Management 5.3.2 High-Performance Kernels 5.3.3 Fleet-Level Scheduling LINKS： 我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出； 我们的视频播客在小宇宙、Bilibili、小红书、视频号、抖音等全视频平台播出； 如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。 DISCLAIMER: 本内容不作为投资建议。 CONTACT: [email protected] Jump into the new world-and explore with us!😉

今天是一集很可爱的播客，嘉宾是出生于2009年，现今17岁的高二学生苏庭灏 （Jonathan）。他高中阶段独立做预训练研究，发表的一篇关于Attention机制的论文刚刚被ICML 2026 Main Track接收。 我们的节目访谈过许许多多成熟的AI研究者，但这是第一次，我打开了一个高中生的AI世界。他的表达时常有些令我新鲜和奇妙。 我们聊了聊，过去2年他充满惊喜、趣味，还有哭鼻子的AI旅程，也聊了聊高中生视角下的模型、商业、教育与人类未来。他说，AI让他和同学们有时会感到失去了一些人生的意义感，因为不管你做什么AI都可能比你做得更好，他为此难过了一段时间。 但后来他调试好了心情。他想好了，他就是想让自己开心，让自己喜欢的人开心，让所有人都开心！——开心是人之根本——既然AI不可控，就不要杞人忧天，要多和喜欢的人聊聊天呀：） 参加完韩国ICML，中途在城市停顿几天，他就要去农村支教了。那是全然的另一个世界。他提醒自己，要离开AI，沉浸到另一个抓昆虫、玩狼人杀、慢吞吞的人类世界。 接下来，就是我和苏庭灏的聊天。 OUTLINE: 00:03:04 我想做一个全世界最好的大语言模型！ 00:08:12 喜欢自由探索，喜欢下象棋，象棋如游戏 00:11:15 我如何独自做预训练，预训练有点magical 00:13:07 我白白丢了1500，我特别特别伤心，我都哭了 00:13:55 被2026年ICML收录的论文《Attention Projection Mixing with Exogenous Anchors》 00:17:48 高中自学AI之路和那些灵光乍现的时刻 00:21:44 我一生中前20最开心的时刻 ，遇到每个人我都会问：AI会灭绝人类吗？ 00:28:22 我眼中的模型公司、应用公司、机器人公司、AGI与商业世界 00:31:46 作为AI原住民的05后，我会教我父母用AI，我观察AI让好学生成绩更好了 00:36:47 一位高中生视角下，AI降临后的教育突变：人失去了意义感 00:40:05 我希望AI发展别那么快，给人类一个缓冲的时间 00:41:32 我同学说，我现在从读书到当医生还要10年，但没人知道10年后是不是AI做的比人好 00:47:09 AI降临前后的两个世界和两种生活 00:51:44 我从韩国ICML回来马上穿梭进另一个世界：在农村支教 00:57:21 开心是人之根本，开心的总量是有限的 00:59:12 狂想未来，我希望所有人都开心！！！ PHOTOS: (第一次参加ICML的Jonathon) （象棋比赛中的Jonathon） （在支教的Jonathon） LINKS： 我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出； 我们的视频播客在小宇宙、Bilibili、小红书、视频号、抖音等全视频平台播出； 如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。 DISCLAIMER: 本内容不作为投资建议。 CONTACT: [email protected] Jump into the new world-and explore with us!😉

每次见到刘洺堉，他都穿一件黑色夹克，背着一个有点旧的斜挎包。 现任英伟达研究副总裁的刘洺堉，是英伟达第一位从研究员擢升至副总裁之位的管理者，他领导英伟达最重要的模型项目之一——世界基座模型Cosmos。 刘出生于中国台湾，是金庸小说爱好者。18岁起，刘洺堉就师从著名的武术家徐纪（神枪李书文一脉传人），练习中国功夫，一直至今。最近他又有了一个ice plunge（冰水浴）的新嗜好。凌晨4点多，刘洺堉起床后会依惯例进行武术训练：一个人蹲桩、打拳。做完全套后，再只身跳进冰桶，帮助身体修复。 这种锻炼习惯与我对刘洺堉的印象截然不同——他看起来谦和，说话音量也不大。“中国武术最重要的是控制自己。”刘洺堉说，“我并不是为了展现强大的破坏能力。” 某种程度上，这反映了他以及他所代表的英伟达这样巨型的基础设施型企业的竞争观。 访谈中，他反复强调，他没有任何竞争对手，他没有和任何人竞争，所有人都可以是合作伙伴。 “什么叫战争呢？我没有打算把别人杀死。”刘洺堉说，“我们的心态不是说想把别人给杀死，我们的心态是我们要怎么去造市场。你懂我意思吗？” “Jensen（英伟达创始人兼CEO黄仁勋）经常说，要造市场，而不是存量竞争。他讲我们就要做zero-billion-dollar business（从零到十亿美元的业务）——你可以不赚钱，但当这个生意成功的时候，必须是很influential（有影响力）的。不能说满足每年赚100个million（1个亿）——这种scale（规模）对很多公司都很大，但对英伟达而言，这是一个distraction（分心）。”刘接着说，“你要去解最重要的问题，产生最大的贡献。” 英伟达正在“造”的市场，即面向物理世界的人工智能（Physical AI），世界基座模型Cosmos被寄予厚望。这个项目从2024年立项，经过两年多已发布至Cosmos 3。Cosmos直属团队不到100人，虚线汇报规模是200至300人。黄仁勋对刘洺堉表达战略决心，称：“你就做到Cosmos 97。” 如今，刘洺堉已在美国生活20年，在英伟达工作10年，他仍然用一些朴素的东方智慧进行技术表达——比如，他把大模型比作中医，时常援引《孙子兵法》“备多则力寡”来思考世界模型的技术趋势。 本次访谈，我们详细地聊了聊Cosmos系列（尤其是前不久发布的Cosmos 3）、世界模型、物理世界的人工智能、英伟达的竞争观、组织哲学，当然还有绕不开的黄仁勋。 接下来，就是我对刘洺堉的访谈。 OUTLINE: 00:02:35 英伟达的赌注与边界 00:29:57 意外、顿悟、转变 01:02:46 如何在英伟达拿到GPU 01:21:57 从研究员到英伟达VP：“我可能是第一个吧” 01:37:00 Cosmos的诞生 01:51:39 从Cosmos 1到Cosmos 3的演变 02:36:33 “黑客帝国” 02:44:20 下一个CUDA? 02:47:04 关于黄仁勋：Mission is the boss 03:12:20 模型竞争不是鱿鱼游戏 LINKS： 我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出； 我们的视频播客在小宇宙、Bilibili、小红书、视频号、抖音等全视频平台播出； 如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。 DISCLAIMER: 本内容不作为投资建议。 CONTACT: [email protected] Jump into the new world-and explore with us!😉