今天这集是我和广密【全球大模型季报】第5集，是2024年Q4季报，也是我们录制的第二次跨年特辑。 提前和大家见面啦：） 这次你会发现，我们的聊天篇幅开始从大模型技术转向对大模型产品的探讨。很大概率来说，产品会是2025年AI的最大趋势之一。AI产品会如何落地？产品形态又会如何演变？ 广密带来了最新猜想。他提出，过去半年他最强烈的认知变化是，不管国外的ChatGPT、Anthropic、xAI、Perplexity，还是国内的豆包、Kimi，甚至是做Coding相关的Cursor、Devin……虽然各个产品的产品形态不一，从不同路径发散，但最后会殊途同归。他们最终很可能收敛到同一个叙事之下，争夺同一片领地。 很开心转眼之间，【全球大模型季报】已经陪伴大家1年，明年仍然希望这个系列能持续地帮大家了解最前沿的AGI动态并带来认知进化。 本集是《张小珺Jùn｜商业访谈录》和《海外独角兽》的串台节目。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯。 02:33 Part 1: OpenAI * ChatGPT本质是奔着“下一个Google”方向去了，如何beat Google是最大的牌 * 一定要逛计算机历史博物馆，理解“计算架构+信息分发”演变的主线逻辑 * Google也是从Yahoo边缘市场撑大做起来，伟大公司是从边缘市场起来 * 小红书非常有意思，融合了搜索+推荐+问答+做任务一体化 * 这些产品最终的最终会变成任务引擎、任务容器，是下一个Google * 电商过去最核心的是GMV，订单转化率，AI时代我感觉是任务完成率 * Chatbot对话形态大概率不是提取智能最有效的交互方式，模型如何更主动？ * 可能的一个产品形态是个人助理或者超级助理 * Context非常核心，绝大多数人都还没意识到，是一条关键的暗线 * 如果AI的生成能力增强了，未来会生成的是什么？Mobile最大增量是内容，LLM最大增量新型软件 * 既然这些LLM产品想成为Google已经变成了一张明牌，你觉得Google有能力阻止这件事发生吗？ * “下一个Google”的产品，会是一家垄断吗？ * 微软和OpenAI同床异梦，微软可能会投资Anthropic 51:04 Part 2: 硅谷其他AI公司和产品 * Anthropic：得Coding，得开发者，得API消耗，有机会得生态，做OS * Anthropic比较专注Agent，怎么让Agent更快落地是更高优先级 * Killer App长期要有竞争力，要端到端垂直整合能力，向下优化，优化成本、模型架构、模型大小、调整模型数据分布、甚至向下优化推理芯片 * xAI：还是注定要成功，但是upside还有多少不太确定 * Perplexity：更像是一个信息处理的Agent * Cursor：Coding产品形态要快速迭代，之前补全下一个代码，Cursor补全下一个Action，明年可能端到端生成软件 * Devin：第一个真正意义上做长距离复杂任务的Agent，明年最具有商业价值的是long horizon Agent（长期规划智能体） * Mistral：已经不用再关注了，他们内部也正式放弃预训练了 01:02:24 Part 3: 对2025/2026关键预言性判断 * 1/ Long horizon task 是下个重点，重要核心圈子几个大佬级人物都在重点做 * 2/ 产品形态的探索，全新的交互界面 * 3/ AI商业模式的探索，今天商业模式还是移动梦网时代 * 4/ 高质量+scalable的数据，尤其是各个垂直行业里面，有没有几千条甚至上万条，任务+Reward数据，要高水平专家标注 * 5/ GPT-5/4.5 Orion：提升能有多大 * 6/ O1后面天花板走到哪：大规模scale RL/o1之后会怎么样，会不会很快遇到瓶颈 * 7/ 假设Coding能力明年提升10倍，软件开发范式怎么改变 * 8/ Context很重要，大家都还不够重视 * 创业公司没法同时做好这么多，得找锋利的切入点，一根针捅破天 01:11:11 Part 4: 再谈Scaling Law * Ilya最近提的pretrain data wall（预训练数据壁垒）是什么？ * 后训练中有一个关键问题是奖励模型（reward model），整个地球上没有一个reward model衡量所有人，你相信会未来有吗？ * O1系列天花板会卡在哪？这条路通往AGI吗？ * Scaling Law关键阻碍不是算力，不是算法，是data问题 * ChatGPT有数据飞轮吗？未来会出现吗？哪些产品里有高价值数据？ 01:22:19 Part 5: 复盘2024 * 回顾一下，能定义2024年全球大模型产业的关键时刻？ * 全球大模型又狂卷一年，卷出了什么？ * 今天想要进入决赛圈，条件是什么？ * 哪些去年的判断你今天更坚信了，哪些去年的判断你今天认知有改变？ * Mega7巨头里面最看好哪个？ * 硅谷人才在流向哪几家公司？ * 明年如果只投一个方向，投什么？ * 这一轮大的机会，我总结是这3个…… * 2024关键词？2025关键词？ 【全球大模型季报】系列 2023年：口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观 2024年Q1：和广密聊AGI大基建时代：电+芯片=产出智能 2024年Q2：口述全球大模型这半年：Perplexity突然火爆和尚未爆发的AI应用生态 2024年Q3：AGI范式大转移：和广密预言草莓、OpenAI o1和self-play RL 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
Kevin Xu曾经参加奥巴马总统竞选，并在美国商务部和白宫都工作过。今天，我邀请他来聊聊美国总统大选的幕后故事。 由于Kevin在科技业从业多年，他提供了一种有意思的视角来看美国政治与大选活动——总统候选人作为一个产品，它在走向市场的过程中，如何与国家叙事实现PMF（Product Market Fit，产品市场匹配度）？ 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） * 01:30 自我介绍 * 02:23 22岁参与奥巴马竞选团队，后担任他在白宫的新闻助理 * 03:13 美国大选的框架：scale up、地推、集资、媒体… * 06:46 大选就是把产品（候选人）和市场（国家环境）做Product Market Fit * 08:25 总统竞选成员每天具体在干嘛？ * 14:31 大选输赢对于竞选团队成员的职业生涯有多大影响？ * 15:30 大选怎么获胜？“首先你的产品要好” * 19:25 从商务部（骆家辉任上）到白宫新闻部，给奥巴马写新闻稿 * 22:08 特朗普的胜选在预期内，有些与08年雷同 * 25:09 特朗普是个好产品吗？共和党缘何胜利？民主党缘何惨败？ * 30:12 奥巴马这个产品如果放在现在，还能fit今天的美国吗？ * 31:35 哈里斯是一个仓促的、还没有准备好的产品？ * 32:19 我在大选框架中亲历4次，大选当天都是枯燥的一天 * 33:36 是共和党跟着特朗普走，不是特朗普跟着共和党走，特朗普就是特朗普 * 34:50 特朗普如何争取硅谷精英选票？他对美国科技业的后续影响？ 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
做这集节目是因为，我想看看那些融了很多钱的AI创业者在干嘛？他们似乎已经很久不出来发声了，把整个舆论场留给几家基础大模型公司和巨头们。 本集嘉宾是深言科技创始人岂凡超。 他公司的融资规模没有大模型公司那么大，但相比一般的创业者，也已经属于账上有非常多钱的了。在去年融资中，估值12亿元人民币。拿了这么多钱找方向，做了1年，他们现在怎么样了？ 这是岂凡超第一次接受访谈。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） * 01:48 自我介绍 * 02:45 94年，博士还没毕业开始创业 * 12:49 清华AI创业的脉络和门派 * 14:34 ChatGPT之前，见了100个投资人 * 22:18 ChatGPT之后，资本环境发生过山车式的变化 * 25:39 23年下半年开始发现差异化训模型变难，于是战略转型 * 29:30不认可模型即产品，未来没有模型公司 * 33:50 我们产品有5个模型组合，试图解决模型输出不确定性 * 40:11 产品构想：新闻阅读？信息助手？ * 42:40 内容生产消费分发变迁史 * 44:52 内容是信息的载体，从以内容为颗粒度到以信息为颗粒度 * 53:36 内容生产消费链路变化，重心一直从内容创作者往消费者移 * 56:49 新一代创作者会是什么样？ * 60:06 刚上线的产品：语鲸 * 70:30 聊聊好产品：Cursor、NotebookLM、Perplexity * 73:55 创业像航海，没有航海图 * 81:18 我干的一件很蠢的事 * 83:18 90后CEO幼稚吗？大发雷霆吗？两面三刀吗？画饼吗？喜欢管理者做信息差管理吗？ * 88:28 大模型输出的不确定性很大程度影响AI组织 * 102:15 最后的快问快答 嘉宾推荐的书： 《自私的基因》 《学会提问：批判性思维指南》 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
最近关于英伟达战略和组织的新书《英伟达之道》上线，这本书的作者Tae Kim专访了黄仁勋。我邀请本书译者和上过我们节目的王亚军来聊聊：黄仁勋和3万亿美元英伟达是如何炼成的？ 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） * 02:45 黄仁勋的危机感来源：移民家庭、在“问题少年学校”受霸凌 * 09:54 服务员黄仁勋特别不喜欢顾客点奶昔 * 16:16 英伟达的三位创始人和创办（黄仁勋、普里姆和马拉科夫斯基） * 22:05 Nvidia为什么叫Nvidia：要成为让所有人嫉妒的公司？ * 23:52 英伟达发展的三个阶段：从NV1、NV2的败笔开始 * 36:22 细数英伟达发展史上的重大战略决策，成功的和再次失败的 * 48:57 黄仁勋怎么治理公司？白板文化、Top 5、机长、“战略不是文字，是行动”、“运送一整头牛”… * 01:30:16 联合创始人普里姆的离开，黄仁勋没有二号位 * 01:33:11 3万亿美元英伟达是如何炼成的？ 往期英伟达节目：谈谈黄仁勋搭建的组织系统：分布式操作系统，“就像一台GPU” 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
最近，我访谈了以太坊联合创始人Vitalik Buterin，他站在加密技术（Crypto）的彼岸远眺人工智能技术。 Vitalik是俄裔加拿大人，出生于1994年，19岁大学辍学创立以太坊，20多岁成了最年轻的加密亿万富翁。在中国，人们称他“V神”。 他试图阐述一种技术哲学观。在他的认知中，AI和Crypto代表的是两种底层哲学。AI更中心化、富有权力，它可能正在构建史无前例的强大权力中枢；而Crypto相反，倡导的是一种去中心、平等的生存主义哲学。 技术革命或将推动关乎人类命运的“权力游戏”。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） * 02:00 我会6门语言 * 05:00 站在Crypto技术浪潮那一端看人工智能革命，在想什么？ * 10:03 AI是非常有权力的，ChatGPT是非常中心化的应用 * 13:35 OpenAI第一步为了安全牺牲了开源，第二步为了利益牺牲了安全 * 28:21 如果人工智能的终极势力抑或是“老大哥”要毁灭人类… * 35:18 比人类更聪明的东西一定会出现，有两种选择 * 37:56 Crypto和AI可以如何结合？ * 41:13 如果我们行业就是发个币、做个交易所，这个行业是失败的 * 44:44 为什么以太坊生态或Web3生态依然没有实际应用？ * 46:40 中心化的应用 vs 去中心化的应用（提到的产品名：Farcaster、Twitter、Warpcast、Firefly） * 53:30 如何看待Crypto行业中的投机分子？ * 56:19 谈自己：生活、思考、恐惧 【更多信息】 本集文字版本：腾讯新闻原文 & 作者版本 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
最近美国大选尘埃落定，今天我们的话题不是美国政治，而是讨论一个地缘相关的科技话题：如果美国形成AGI霸权，我们应该怎么办？ 这集嘉宾是李开复（零一万物创始人和CEO、创新工场董事长和CEO）。由于他有40年人工智能从业经历，曾经在苹果、微软和Google等科技巨头中担任高管，和中美各界联络广泛；这次，我们把话题推向了更为宏大的议题：AGI霸权与垄断、海外科技巨头的卡位与现状、AI超级应用的隐形崛起。 访谈中，他提供了一个如果美国有望形成AGI霸权，中国可以走的第二条道路的可能性视角。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） * 02:03 从2024诺奖开始聊起：聊聊我熟悉的Geoffrey Hinton * 09:19 Hinton的功劳不只是机器学习，还有识别GPU对机器学习的价值 * 10:20 23年开始的第一次也是最后一次创业：顶着“教父”、“偶像”这样的帽子创业，有包袱吗？ * 15:17 24年零一最重要决策是做成本更低的推理，如何实施？ * 27:36 做世界最牛的模型和做应用，是不能衔接的（Character.AI的两难） * 35:39 要追求第一个做到AGI且完全碾压别人，这个梦想我们没有，也不能有 * 41:25 第一个做出AGI碾压对手的，必然是商业霸权垄断者，会有成为终极垄断者的野心 * 43:03 中国可以走的第二条道路的可能性视角 * 49:43 我认可说AGI会7年以后会发生 * 54:11 谈零一最近的战略选择：2C先走海外，国内聚焦2B * 01:02:22 2C应用预计会在明年上半年爆发 * 01:04:45 智能助手可能走向委托式用户界面，变成Super App * 01:14:18 OpenAI还藏了很多牌，我们千万不要低估它 * 01:17:50 《Generative AI's Act o1: The Agentic Reasoning Era Begins》是标准硅谷共识 * 01:20:11 大模型公司为什么还要继续做预训练？ * 01:23:40 为什么创业穿西装？“穿西装比较遮我的肚子” * 01:26:55 锐评海外巨头的卡位与挑战：英伟达、Meta、微软、OpenAI、xAI、Google（这里有很多增量：） 访谈中提到的文章： 《Generative AI's Act o1: The Agentic Reasoning Era Begins》(生成式AI的o1行动：代理推理时代的开启) 《Can AI Scaling Continue Through 2030?》（《人工智能的规模定律能否持续到2030年？》） 李开复推荐了三本书： A Brief History of Time（《时间简史》）, by Stephen Hawking Leonardo da Vinci（《列奥纳多·达·芬奇》）, by Walter Isaacson Man's Search for Meaning（《活出生命的意义》）, by Viktor Frankl 【更多信息】 本集文字版本：腾讯新闻原文 & 作者版本 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
在过去两集节目中，关于OpenAI o1和AGI范式转移，我们先是推出了一集预言，之后推出了一集解析。在一个新范式来临的临界点上，我们希望听到更多来自业界不同视角的声音。哪怕这些声音是切片的、冲突的，我们都希望当做一种记忆和留存收集起来。 今天这期是王小川的返场。 王小川在创业开始就关注到强化学习并且很早开始公开谈论。他曾说，大模型代表快思考，它叫“学”；强化学习是慢思考，它叫“思”。“学”和“思”两个系统最终会走向融合。除了o1，王小川也聊了聊强化学习在一个特定场景——医疗——中的应用。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） * 01:30 大模型是“学而不思则罔”，强化学习是“思而不学则殆” * 03:45 Sam Altman被宫斗下课与强化学习大神Noam Brown的动态 * 05:45 OpenAI o1是范式升级，摸到了一条从快思考走向慢思考的道路 * （DIKW模型：Data – Information – Knowledge – Wisdom） * 08:18 怎么看o1隐藏思维过程，有人破解o1思维链会被警告要封号？ * 09:04 从以语言为核心走向思维链，分两阶段运行增加泛化性 * 11:38 强化学习 vs 监督学习 * 16:39 除了数学和代码以外，医疗是可以用强化学习提升的领域 * 19:55 之前做强化学习实验没有CoT（思维链），今天更强调CoT了 * 22:16 复现o1 vs 复现GPT-4 * 26:30 未来几年将从强化学习范式走向写代码解决问题新范式 * 28:35 做“水涨船高的应用”，不只是“沿途下蛋的应用” * 31:35 创业公司要走出大厂射程，在射程内你是没什么好活的 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
上集节目，广密在OpenAI o1问世之前，准确地预言了代号为“Strawberry”（草莓）的项目走向，以及它背后暗示的AGI范式已经转移，强化学习开启了新赛道。 这集节目录制在o1问世之后，我第一时间和边塞科技创始人、清华叉院信息研究院助理教授，同时也是前OpenAI研究员的吴翼聊了聊。他的研究方向正是强化学习。吴翼从技术视角全方位地解读了o1模型，并且分享了只有内部视角才能看见的真实的OpenAI。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） * 01:50 2019年在OpenAI做研究员 * 03:04 那个年代所有PHD都希望去Google Brain和DeepMind * 03:46 OpenAI o1-preview初体验，很意外在用户使用端做这么大规模的推理 * 07:20 pre-training（预训练）能挖的金矿越来越少，以强化学习为基础的post-training（后训练）是另一个大金矿，使迈向AGI的梯子多了几节 * 09:00 o1-preview版本是GPT-3时刻，到没到ChatGPT时刻要看正式版本 * 10:33 o1应该核心关注两个要点和背后的技术原理 * 13:54 强化学习能否探索出Scaling Law有希望，但很复杂 * 15:06 强化学习三要素：reward model+搜索和探索+prompt，每一块都很难 * 16:42 2014年开始，UC Berkeley集体转向，押注强化学习 * 19:36 RL算法的演进：从DQN（Deep Q-Network）到PPO（Proximal Policy Optimization） * 23:45 相信会带来通用能力而不是垂类能力提升 * 24:47 长文本是实现AGI的第一步，推理能力是第二步 * 29:57 通过o1-preview能反向复原哪些技术细节？ * 34:00 reward model不太可能有一个单独的小组闭着眼睛训练，是耦合的 * 38:30 思维链、安全、幻觉和算力 * 41:25 为什么这么项目叫“Q*”？后来又叫“草莓”？梗都很有意思 * 49:49 o1不代表垂直模型，依然相信会出现全能的大统一模型 * 57:57 关于Scaling Law，2019年OpenAI内部讨论的细节 * 01:00:26 2019年的OpenAI处于“闭着眼睛挖矿的状态” * 01:03:20 OpenAI当年如何做管理：搞大新闻、发博客，KPI是博客关注量 * 01:10:28 2020年离开OpenAI后悔吗？ o1发布前的预言单集：AGI范式大转移：和广密预言草莓、OpenAI o1和self-play RL｜全球大模型季报4 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
我们的节目正在推出新系列【从蒸汽机到无人驾驶】，今天是第4集。因为，在我自己学习自动驾驶的过程中觉得，这个行业的知识壁垒很高、信息不对称也很严重。所以邀请孟醒来做一个自动驾驶的深度科普。 之前的节目介绍过，自动驾驶分成两条线索：1、以特斯拉为代表的辅助驾驶路线；2、以Waymo为代表的全无人驾驶路线。围绕路线之争，这个行业吵了10年。 在上集，孟醒着重聊了第一条线索：特斯拉FSD进化史。本集，我们的重心则是另一条：低调的Waymo和它的对手们。很有意思的是，孟醒曾带队在凤凰城调研Waymo，还暗中探访了它的“老巢”。 本集是《张小珺Jùn｜商业访谈录》和《技术不无聊》的串台节目。《技术不无聊》是孟醒制作的一档新播客。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） 【嘉宾小传】 孟醒，五源资本合伙人、卡尔动力董事长，曾担任滴滴自动驾驶COO、顺为资本科技组负责人；在顺为期间，孟醒投资了小鹏汽车、Momenta等明星公司；加入顺为前，孟醒曾经作为创始人和CEO创办两家人工智能领域的明星创业公司，分别是美国的Orbeus和中国的知图科技，两家公司都被并购；孟醒还曾在摩根大通投资银行部门任职，负责亚太区科技领域的投资并购以及IPO项目，参与项目金额超过600亿美金。孟醒拥有加州大学伯克利分校应用数学和经济学学士，以及麻省理工大学斯隆商学院MBA学位。 * 02:00 Waymo始于2009年，是Google X实验室一个项目 * 04:32 我访谈Google无人车创始人Sebastian Thrun，结果被人骂了，很惭愧 * 07:13 DARPA Grand Challenge（美国DARPA出资赞助的无人驾驶赛）被埋没的故事 * 13:24 Waymo负责人连连换届： * 1. Sebastian Thrun（2009-2013）：Sebastian Thrun是斯坦福大学教授，也是谷歌自动驾驶汽车项目创始人之一 * 2. Chris Urmson（2013-2016）：Chris Urmson是卡内基梅隆大学机器人专家，参与了多次DARPA自动驾驶挑战赛 * 3. John Krafcik（2015-2021）：John Krafcik是汽车行业资深人士，曾任现代汽车北美公司总裁兼首席执行官 * 4. Tekedra Mawakana和Dmitri Dolgov（2021-2023）：Tekedra Mawakana是Waymo首席运营官，法律和公共政策背景出身；Dmitri Dolgov是Waymo首席技术官，参与自动驾驶技术开发多年 * 5. Dmitri Dolgov和Saswat Panigrahi（2023年至今）: Dmitri Dolgov继续担任CEO之一，Saswat Panigrahi是Waymo首席产品官，负责产品管理和战略规划 * 18:05 Waymo技术关键变化，对最简洁漂亮的架构端到端抱有理想 * 21:55 我带队在凤凰城调研Waymo四个月，还暗中探访了Waymo“老巢” * 38:30 无人驾驶第二名Cruise（创始人Kyle Vogt），两年、40人团队，10亿美元卖给通用汽车 * 43:24 一起安全事故，使Cruise从顶峰极速坠落 * 48:00 为什么Waymo和Cruise同样作为大企业分支，风格差异这么大？ * 57:40 Uber也曾是无人驾驶一个有竞争力的对手，怎么退出了比赛？ * 59:17 另外两位竞争对手现况：Zoox、Aurora 【从蒸汽机到无人驾驶】系列 和何小鹏聊，FSD、“在血海游泳”、乱世中的英雄与狗熊 和楼天城聊聊Robotaxi和ACRush：“L2做得越厉害，离L4越远” 从蒸汽机到无人驾驶3｜和孟醒聊特斯拉FSD进化史 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
今天这集是我和广密【全球大模型季报】第4集。这期2024年Q3季报，提前和大家见面。 我们正进入的9月会是AGI的一个大月，OpenAI造势已久且绝密的项目“草莓（Strawberry）”将在不久后揭开它神秘的面纱。此外，Anthropic也会推出Claude 3.5 Opus，这两个模型将是AGI进程是否顺利的关键风向标。 这些项目很可能暗示了硅谷AGI范式已经静悄悄地发生剧烈转移。 本集节目带来了对AGI发展路径的最大猜想——硅谷AGI范式正在发生转移，self-play RL（强化学习）开启了新赛道。大部分人还没意识到，在纯靠语言模型预训练的Scaling Law这个经典物理规律遇到瓶颈后，多家硅谷明星公司已经把它们的资源重心押宝在一条新路径上：self-play RL（自博弈强化学习）。只不过，这个范式转移还未形成共识。Self-play RL到底是什么？它如何有别于传统路径？它能成为继续Scaling Law的一把神奇钥匙吗？ 这集节目是关于self-play RL的一篇高质量科普，也希望为大模型从业者带来方向性的启发。 除了self-play RL，我们着重探讨了硅谷一级市场的明星赛道（Coding、视频生成、通用机器人），以及OpenAI与科技巨头近况。希望我们【全球大模型季报】能帮大家了解最前沿的AGI动态，并且能持续给大家带来启示。 本集是《张小珺Jùn｜商业访谈录》和《海外独角兽》的串台节目。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） 坏的推演猜测，GPT-5不乐观；好的推演猜测，RL开启新赛道 * 02:30 语言模型预训练的范式或许遇瓶颈，模型scaling边际效益开始递减 * 05:21 为什么不一定能支持模型在GPT-4o基础上大幅跃升？现在处于“真空死亡地带”？ * 06:43 我最担心的是，纯靠语言模型的经典Scaling Law /Pre train这个物理规律遇到瓶颈，或者在更大参数比如2-3T以上的情况下开始失效了 * 09:37 如果scaling law在模型变大的过程中不work，现在有三条潜在路径：1、多模态尤其是视觉（但还没有证据说能从视觉模态训练涌现智能能力）； * 2、10万卡集群（但10万卡集群充分互联的难度比预期难，可能是全人类最难的项目之一）； * 3、强化学习self-play RL（这是范式级别的大转变！） * 12:53 如果我是AI公司CEO，我会200%资源all in RL这条路 * 13:40 概念解释：Reinforcement Learning，简称RL，中文强化学习（Ilya用一句话概括强化学习：让AI用随机路径去尝试一个新任务，如果效果超出预期，就更新神经网络的权重让AI记得多使用成功的实践，再开始下一次尝试） * 19:05 代码和数学可以变得很强，能不能泛化到更多领域没有证据 * 22:39你也可以把语言和预训练比作人类基因组，携带着人类几千年进化的基因，强化学习RL就是人类成长的一生 * 24:55 必须很聪明的模型才能有能力做self-play RL的探索 * 27:07 Anthropic Claude 3.5是这一波标志性的产品，他们不搞Sora/搜索，主线是RL；业内少数人意识到RL的重要性是最近两个月 * 28:35 硅谷明星公司现阶段的资源投入？1-2家公司把RL当作最高优先级 * 28:56 2024年9月OpenAI和Anthropic即将要发布的，什么值得期待？ * 29:42 AGI范式大转移之下，还会有GPT-6和GPT-7吗？（可能明年会看到很小的模型比今天GPT-4o要聪明非常多，一个期待是实现AGI不一定需要巨量参数的模型） * 30:33 新范式的困境和卡点 * 32:52 Character.AI出售给Google预示AGI竞赛上半场结束，下半场开始，创始人Noam从Google进入self-play RL下半场 * 34:36 新范式下，还需要那么多GPU吗？很多人关心英伟达股价 * 37:06 AGI范式转移只在最核心的researcher中有共识，几百人，还没扩散 * 38:55 Claude 3.5 Sonnet显著提升，带动了编程工具Cursor的火爆出圈 * 40:08 OpenAI在造势的草莓、Q*，猜测背后都是强化学习RL * 41:55 国内公司应该应该all in 200%跟进RL * 42:44 语言模型和RL是乘级关系 硅谷AI一级市场的四个明星赛道 * 45:12 硅谷的AI赛道：围绕LLM周边有3-4个圈，搜索、代码Coding、视频、机器人 * 1、Coding：在硅谷出现了4-5家独角兽（Devin、Augment 、Magic、Poolside，都已经20-30亿美元估值），最近编程工具Cursor出圈 * 2、 视频：这个赛道诱人，但格局不稳定、决胜窗口长 * 3、通用机器人：想赌具身领域也有个OpenAI，现在是基础科学突破的问题，没看到在机器人领域的“通用泛化能力”出现 * 57:00 美国通用机器人的明星项目（Pi、The Bot是业界公认最头部的项目，除此之外融资金额很大、声量也比较高的是Skild AI、Figure AI） * 58:31 国内vs硅谷机器人：硅谷投robot foundation model一个大脑，像Andorid；在国内投整机，OV和小米 * 01:01:56 LLM->多模态->具身智能->世界模型，这是AI发展路径 * 01:05:54 LLM vs 移动互联网，叙事逻辑是什么？哪些明线与暗线？ * 01:07:04 有没有可能，今天不做强化学习的公司未来都跑不出来 * 01:08:05 站在现在，重新评论一下中国LLM？“月亮和六便士” OpenAI和科技巨头 * 01:12:37 OpenAI * 1、有点浪费技术领先的红利，产品没接住 * 2、联合创始人Greg Brockman、John Schumann离职 * 3、Ilya离开应该是bet on两个路线（多模态/强化学习，大概率是RL） * 01:17:10 Q*和草莓和RL应该是一件事，草莓是代号，RL是方法 * 01:18:07 回答红杉美国合伙人 David Cahn发布最新文章《AI’s $600B Question》 * 01:20:00 在2024年Q3，AI叙事还有哪些非共识？ * 01:22:45 Character.AI之后，哪些AI公司还会被收购？做个预测 * 01:23:38 2000年互联网hype破灭后只留下Amazon一家公司，今天AI hype如果破灭了，谁是下一个Amazon? * 01:24:24 AGI第一幕是科技巨头受益，第二幕还没完全展开 【全球大模型季报】系列 2023年：口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观 2024年Q1：和广密聊AGI大基建时代：电+芯片=产出智能 2024年Q2：口述全球大模型这半年：Perplexity突然火爆和尚未爆发的AI应用生态 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
去年下半年以来，特斯拉V12版本和端到端架构为自动驾驶掀起了一波全新的热潮。这波总是在“5年之后”又“5年之后”屡屡迟到、屡屡爽约的技术革命，到今天，到底发展成什么样了？它距离我们真实的生活还有多远？ 我们的节目正在推出新系列【从蒸汽机到无人驾驶】，今天是第3集。 我们的前两集节目里，已经推出了与何小鹏和楼天城的访谈，他们分别代表自动驾驶领域最有代表性的两类公司：一个是做L2（辅助驾驶）的汽车公司、一个是做L4（无人驾驶）的技术服务公司。这次，我邀请了在自动驾驶行业很资深且背景多元的一位人士。 孟醒在过去8年从各个维度深入参与过这个行业。他曾是连续创业者，先后在美国和中国创办了两家人工智能初创公司；他也是投资人，投资过小鹏汽车、Momenta等自动驾驶相关公司；2019年起，他出任滴滴自动驾驶COO。就在最近，孟醒刚刚更换了新身份，再次回到风投行业做一名前沿科技投资人。 我和孟醒从他亲身试驾特斯拉FSD各个版本的真实感受开始聊起，深入探讨了端到端架构和FSD进化史。不过这集只是开篇，接下来我们还会推出更多的精彩续集。 本集是《张小珺Jùn｜商业访谈录》和《技术不无聊》的串台节目。《技术不无聊》是孟醒制作的一档新播客。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） 【嘉宾小传】 孟醒，五源资本合伙人、卡尔动力董事长，曾担任滴滴自动驾驶COO、顺为资本科技组负责人；在顺为期间，孟醒投资了小鹏汽车、Momenta等明星公司；加入顺为前，孟醒曾经作为创始人和CEO创办两家人工智能领域的明星创业公司，分别是美国的Orbeus和中国的知图科技，两家公司都被并购；孟醒还曾在摩根大通投资银行部门任职，负责亚太区科技领域的投资并购以及IPO项目，参与项目金额超过600亿美金。孟醒拥有加州大学伯克利分校应用数学和经济学学士，以及麻省理工大学斯隆商学院MBA学位。 * 01:30 孟醒的学习和创业经历，从幼儿园就开始在中美两边穿梭 * 08:33 为什么自动驾驶行业和公众之间充斥着信息不对称？ * 11:17 自动驾驶分两条线：辅助驾驶已经到产品中期，无人驾驶产品还处在Pre-A阶段 * 18:18 辅助驾驶和自动驾驶各自迈过几道坎？还有哪几道坎要过？ * 21:18 亲身试驾特斯拉FSD不同版本的感受（从非端到端的最后一个版本V11.3.6到端到端版本V12.3、V12.4，技术提升斜率如何？） * 27:37 为什么L4公司看特斯拉FSD像小学生？优化目标和L4公司不一样 * 29:09 L2直到实现极高驾驶能力之前，应该有最优接管率，不能过高也不能过低 * 33:12 L2和L4截然不同的产品体系：L2提供更好的人机共驾体验，L4提供成本更低的出行服务能力 * 33:36 L1-L5的命名体系和它带来的歧义 * 43:06 特斯拉V12版本和端到端架构为什么重新点燃自动驾驶的热情 * 52:20 V12更像是辅助驾驶里的GPT-3时刻 * 54:11 关于特斯拉端到端架构，哪些是已知信息？哪些是黑盒？ * 56:43 特斯拉自动驾驶的技术演进史（both硬件和软件） * 01:02:54 特斯拉是端到端且不用任何规则兜底，国内公司很难做到 * 01:04:07特斯拉的纯视觉路线vs大部分公司的激光雷达路线 * 01:11:52 端到端是自动驾驶的终极大杀器吗？分别探讨L2和L4 * 01:17:32 复刻特斯拉FSD需要多少花销？大致的估算 * 01:19:18 几乎所有中国的竞争者都在跟进端到端架构 【更多信息】 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
我们的节目正在推出新系列【从蒸汽机到无人驾驶】，今天是第2集。 最近萝卜快跑在武汉引发广泛关注，许多人开始讨论Robotaxi是不是迎来拐点？我邀请了楼天城来聊聊。 楼天城是清华首届姚班毕业生，因在编程竞赛的优异战绩又被称作“楼教主”。他毕业后进入Google工作，在这里最早接触了无人驾驶，而后又加入百度从事无人车研发。2016年，楼天城与百度前首席架构师彭军，创立无人驾驶公司小马智行（Pony.AI），他出任联合创始人兼CTO。该公司估值达85亿美元，正寻求在纳斯达克或纽交所上市。 节目中，我们探讨了关于Robotaxi的新闻、无人驾驶的简史、自动驾驶常见的路线之争。楼天城说了一些颇为尖锐的观点：比如，“L2做得越厉害，它离L4越远，反之亦然”，又比如“当自动驾驶超越人类，数据就变成干扰项，并不是越多越好”。 我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：） * 02:11 先谈两条新闻：1、萝卜快跑火了，2、Tesla推迟Robotaxi发布时间 * 04:39 用时间概念来表达“无人驾驶小史”：1小时/10小时/100小时/1000小时/10000小时，自动开不用人接管（跨越每一步中的关键点） * 10:10 我主要精力花在“Contest based metric system”（“基于竞赛的度量系统”，旨在根据不同的场景分别评估系统的能力。） * 16:45 “端到端”根本变化是，让整个模型的能力加强了，避免模块之间传输信息丢失 * 17:18 “端到端”只能做到100小时，从100到1000小时是超越资源和能力的 * 17:50 自动驾驶的路线之争：先有目标不同，才有路线不同 * 1、激光雷达/纯视觉？“纯视觉只能做好学生，但激光雷达能作弊” * 2、车路协同/单车智能？“互相加成，但单车智能是priority” * 3、渐进式自动驾驶/跨越式自动驾驶？“一个是足球、一个是篮球” * 4、辅助驾驶/自动驾驶？“L2做得越厉害，它离L4越远” * 26:57 无人驾驶创业这8年：高潮与低谷，落地得快与慢 * 35:54 “当你真的超越人类，数据不是越多越好，数据是干扰项” * 44:06 关于个人：姚期智先生令我印象深刻的、ACRush、“只有冠军才知道冠军和亚军的差距” * 49:10 坚持20年编程竞赛的人告诉你一个竞赛技巧：“Hold cold card” 【更多信息】 文字版可参考：《和楼天城聊Robotaxi：“L2越厉害，就离L4越远”》 联络我们：微博@张小珺-Benita，小红书@张小珺jùn 更多信息欢迎关注公众号：张小珺
与播客爱好者一起交流
播放列表还是空的
去找些喜欢的节目添加进来吧
