这次依旧是硬核话题，我们跟学术大牛深度聊聊2024年上半年美国创投圈最火的的话题之一，具身智能。 没错，智能机器人之火终于从国内来到美国了。在去年下半年的时候，美国创投界还是在关注大模型和应用、infra等等，虽然Deepmind RT-2 等工作彼时已经崭露头角，更喜欢软件的美国VC似乎还在犹豫机器人这个太硬的赛道。但是从今年上半年开始，事情似乎有了变化。 Hello World, who is OnBoard!? 除了Figure AI 这样的人形机器人公司获得了英伟达、微软等一系列战投的加持，硅谷的老牌基金们也疯狂涌入了所谓的机器人大模型公司，比如学术大牛创立的 Physical intelligence, Skild, 还有 Cruise 前CEO 创立的Bot company, 等等。 这次的嘉宾也是大名鼎鼎，UCSD 计算机科学副教授，苏昊老师，关注具身智能和3D视觉领域的同学应该都不陌生。他参与的一系列AI数据集和软件工作，从ImageNet到ShapeNet、PointNet、SAPIEN，以及最近的ManiSkill等等，都是三维视觉、机器人操作等领域穿越几个时代的标志性作品。苏昊老师现在还是智能机器人创业公司Hillbot 的联合创始人，我们深度探讨了： * 过去一年，我们从学术界、工业界讨论的种种话题，又有了哪些新的进展？ * 大模型的发展如何影响具身智能的不同技术路径？ * 大模型带来的泛化能力，跟硬件、控制系统等，又会怎样相互作用？ * 机器人模型里的数据问题，有哪些解决方案？ 具身智能这个看似很纷繁的话题，苏昊老师总是能抽丝剥茧，相信你们也能从我们两个多小时的交流中，受益匪浅。Enjoy! 对了！今年年初，Onboard 就发布过一期关于具身智能的讨论，嘉宾包括了 Deepmind Robotics，高仙机器人和UCSD 的不同视角的重磅嘉宾。那一期讨论也非常精彩，建议大家回去复习哈！ 嘉宾介绍 苏昊 (Twitter @HaoSuLabUCSD)，UC San Diego Associate Professor，Hillbot智能机器人初创公司创始人、CTO。Stanford PhD, UCSD 具身智能实验室主任，数据科学研究所创始成员，以及视觉计算中心和情境机器人研究所成员。他的研究工作集中在开发算法来模拟、理解并与物理世界互动。 OnBoard! 主持：Monica, 美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 03:04 苏昊的学术历程，为什么最近觉得有关证明的研究进展对机器人领域很有启发？ 10:05 从智能演化的角度，理解“具身智能”这个“老概念” 15:01 为什么从语言而不是视觉上最先看到了接近人类的智能？ 21:31 实现具身智能有哪些主流的路线？如何理解不同路径不同切入点背后的逻辑？ 32:10 可以通过大模型的能力实现运动控制吗？有泛化性的控制数据要怎么采集？ 38:26 演示学习 (learning from demonstration) 有哪些不同路径？ALOHA这类遥操作有什么利弊？ 47:00 规划和执行需要一起做训练吗？做一个端到端的系统核心难点在哪里？ 51:15 划重点：好的算法的本质就是降低对数据的需求 52:23 针对机器人的大模型会跟LLM架构有什么异同？ 59:31 人形机器人可以解决数据和能力泛化的问题吗？ 66:16 模拟器能解决训练数据的问题吗？近年来模拟器相关技术有什么关键进展？ 78:31 AI生成3D，Sora 等新技术进展对实现 sim2real 路径有什么影响？ 95:26 苏昊老师现在的创业项目 Hillbot 100:32 快问快答：推荐的书，影响最大的人，具身智能被高估和低估的话题，如何解压！ 重点词汇和公司 * Boston Dynamics * PI (Physical Intelligence) * OpenAI DALL-E 3 * SAPIEN: A SimulAted Part-based Interactive ENvironment * ManiSkill: a powerful unified framework for robot simulation and training powered by SAPIEN. * Google Deepmind RT-1: Robotics Transformer for real-world control at scale * Google Deepmind RT-2: New model translates vision and language into action, Paper * Google Deepmind Open X-Embodiment: Robotic Learning Datasets and RT-X Models, Paper * ALOHA: A Low-cost Open-source Hardware System for Bimanual Teleoperation * Mobile ALOHA: a low-cost and whole-body teleoperation system for data collection. * Behavior Colony：行为克隆 * Learning from Demonstration：示范学习 * Meta AI Habitat: A Platform for Embodied AI Research * AI2: The Allen Institute for Artificial Intelligence * Segment Anything Model (SAM): a new AI model from Meta AI that can "cut out" any object, in any image, with a single click * robot-VILA: Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning * CoPa: General Robotic Manipulation through Spatial Constraints of Parts with Foundational Model * ImageNet: image database organized according to the WordNet hierarchy 参考文章 * EP 44.【AI年终特辑3】具身智能深度对话：从学术到产业，机器人的ChatGPT时刻来了吗？ - OnBoard! | 小宇宙 * Debate: Is Scaling Enough to Deploy General Purpose Robots @CoRL2023 * 解密机器人大模型RFM-1：Covariant创始人陈曦专访 * 对话高阳：具身大模型框架ViLa+CoPa 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

大家好，欢迎来到新一期OnBoard!，今年是大家讨论 AI 应用最频繁，也是最期待应用爆发的一年，然而回顾海内外无论面向C端用户还是企业级的产品，似乎离我们希望看到的“现象级”仍有距离。但如果聚焦在许多细分场景，回到现在大模型或技术适合解决的市场，也是上期与戴雨森的对谈里提到的“Technology-market fit”，我们仍可以发现不少应用正逐渐开始证明自己的产品力，这里面不乏来自中国人或华人创办的公司。 当我们提到「闷声赚大钱」的「大钱」，并不一定指巨额财富。我们也不打算在节目中透露它们的具体收入数字，因为我们认为，赚钱本身就是一个非常积极的信号。这意味着产品找到了市场契合度（Product-market Fit），找到了愿意付费的目标用户，这也意味着飞轮开始转动起来了。 Hello World, who is OnBoard!? 这一期是与 AI 主题播客「十字路口」的串台，我们与主播 Koji 一起聊聊身边看到与听到的那些华人创办的 AI 公司，这些公司总部有在国内，有的在硅谷、新加坡、日本等地。无论他们身处何地，他们都和我们处在同一个社交圈和文化体系中，能给我们带来最直接的启发和参考，Enjoy！ 「十字路口」主持 Koji：关注 AI 的自媒体「十字路口」主理人，「新世相」/「躺岛」联合创始人 OnBoard!主持 高宁：前美元 VC 投资人，Global SaaS 社区及服务组织 Linkloud 联合创始人，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧 我们都聊了什么 02:42 AI创业，这一次为什么这么看重出海？ 06:06 PictureThis如何在北美抓住用户？ 08:31 AI教育为什么涌现许多不错的中国团队？ 12:06 Speak为什么崛起在韩国？ 16:04 UMU如何在日本敲开企业客户大门？ 18:14 为什么中国团队适合做AI陪伴等C端产品？ 23:24 AI赋能创意营销涌现了哪些高增长的产品？ 29:47 AI图像生成工具有哪些不一样的商业模式？ 31:52 效率工具类产品是如何“卷”出来的？ 37:35 Voice agent赛道上又出现了哪些新兴公司？ 38:54 Coding agent公司里又出现了哪些华人身影？ 40:40 为什么这次AI创业全球范围内涌现越来越多华人？ 44:57 Linkloud是如何服务SaaS及AI出海团队的？ 46:21 日本与美国市场的异同在哪里？ 51:28 我们能从硅谷AI创业潮中学到什么？ 我们提到的公司或产品 * PictureThis * Answer AI * StudyX * Speak * UMU * ChatOn * CrushOn * Chai * Talkie * HeyGen * Opus Clip * Creatify * ACE Studio * Fotor * Cutout Pro * Monica.im * Notta * Final Round AI * Retell * Devin * Nexa AI/Octopus 别忘了！同步关注主播的微信公众号，看更多干货内容哦： 我思锅我在 (ID: thinkxcloud) by GN 以上就是本期节目的全部内容，欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

本期播客与《此话当真》合作，这次的创业者深度访谈，有些不一样！这位女侠一般的创业者 2016 年就开始做出海应用创业。这次的访谈，我们看看一位8年出海老兵，如何从0做到数千万用户，又如何在 LLM 大潮中，雷厉风行地带领公司将 AI 融入实践中。 Hello World, who is OnBoard!? 今天的嘉宾，是 Guru Network 创始人兼CEO， Renee 王小雨。2016年，她开发的 Castbox 成立并进军海外移动端播客市场，填补了市场空白，注册用户曾一度达到 3000 万，位列第三方播客产品榜首。如今，这位毕业于北大心理学系，有着多年开发经验的前 Google 员工，正沿着她的创业路径，领导着一个有着 50 多款产品和全球 5000 多万月活用户的公司。 邀请 Renee 来，是我们看到了AI浪潮中，她如何通过自身快速的学习，不仅上线了数款AI native 产品，更是将AI技术迅速融入到各个产品的工作流中，甚至实现了组织和人才的整体进化。 过去这么多年打造海外产品的心得，在AI时代有怎样的变与不变？ 有历史的创业者，如何带领自己的组织实现AI化的进化？ 相信你可以从 Renee 分享的一线实战心得中得到不少启发。 这次两个小时的对话中，你也能感受到这位真性情的女性创业者。一路走来的蜕变与成长。我们聊得开心，也希望你听得有收获又尽兴。Enjoy! 嘉宾介绍 * 王小雨 Renee（公众号：Renee创业随笔）： Castbox 创始人兼 CEO（we are HIRING! [email protected]） * OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们聊了什么 Renee 的创业经历：从 Castbox 到产品矩阵 01:50 北大心理系、大三自学编程、勇闯 Google 后选择离开创业 11:20 创立 Castbox，月活一度达 3000 万 13:56 单一产品商业化困难，转型矩阵式打法 创始人如何有效组织和管理公司？ 21:27 发挥各家优势是跨国组织的效率密码 22:47 Founder Mode 带来的启发：不管规模多大，创始人一定要抓细节 应用 AI 技术给一家公司带来了什么影响和挑战？ 27:39 从生产到推广环节，AI 技术应用带来了历史最快的增长 33:41 如何在公司中推广应用 AI：founder 要能够发掘出水下的新技术人才 39:03 矩阵式打法背后：以市场和收入为导向会更轻松 44:14 面对大模型生产力转化的不足，主动增加工程投入有价值吗？ 创业者视角 VS 投资人视角；单一产品做大 VS 矩阵式生意 47:52 聊聊投资者与创业者心态的不同，做生意和做事业如何选择 54:42 互联网产品早期就得砸钱吗？ 55:53 不是所有互联网产品都是赢家通吃，学着接纳多样化产品的自然规律 如何在当下做好一个 AI 产品 57:52 只看应用层，最后满足的还是用户需求；为什么说品类和组织能力是关键 61:42 今天的 AI 产品经理需要真的懂 AI，知道 AI 的边界在哪 66:56 潜力产品的两个特征：符合成瘾机制 + 激发心流状态 聊聊创业本身，有关创始人的心态和行为 71:31 创业作为一种生活方式，4000 weeks 如何教会我放弃执念，更有耐心 77:19 如何决定是否要拿投资人的钱？为什么不要迷恋宏大叙事，先立地，再顶天 81:39 创业者的悲观与乐观 84:51 出海创业者一定要到美国去吗？ 88:40 快问快答：如何与自己和解，断舍离，对我影响大的人 我们推荐的内容 * 公众号：Renee 创业随笔 * 创业的耐心 * 悲观的乐观主义者 * Founder Mode By Paul Graham * 上瘾——让用户养成使用习惯的四大产品逻辑 Hooked: How to Build Habit-Forming Products, by Nir Eyal * 《底层逻辑2》by 刘润：商业的加减乘除 * 闪电式扩张 Blitzscaling: The Lightning-Fast Path to Building Massively Valuable Companies, by Reid Hoffman, Chris Yeh 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

你们期待已久的最硬核干货的OpenAI o1模型技术解读来了！上个月最值得关注的事件，或许就是9月12号OpenAI o1模型的发布了，大家对这个新的模型翘首以待许久，OpenAI CEO Sam Altman 也称之为新范式的开始。经过强化学习（Reinforcement Learning）并结合Chain of thoughts 思维链技术，o1在处理物理、数学、编程等复杂问题时，甚至和该领域的博士生水平不相上下。OnBoard! 的嘉宾，不会让你失望！ Hello World, who is OnBoard!? 强化学习如何给大语言模型带来新的逻辑推理能力这？这种能力的来源、实现方式和未来潜力又是怎样的？o1带来的“新范式”会对行业有怎样的影响？ 这次的嘉宾都是有实际训练LLM经验的一线研究员。这场三个多小时的解读，相信会给你不一样的视角！其中两位就来自 RL 绝对高地的 Google, 也是AlphaGo, alphafold, alphageometry 等一系列世界领先的RL工作的发源地。他们都分别在RL和MCTS（蒙特卡洛树搜索）领域有长期的研究和实践经验。另一位嘉宾则是在互联网大厂从LLM预训练到RLHF都有一手经验。中美视角的综合，碰撞出很多火花。这个嘉宾阵容对o1的猜想和解读，相信会让你直呼过瘾。 这次的探讨会涉及很多技术细节，嘉宾长期的海外工作学习，难免穿插英文，不接受抱怨。Enjoy! PS 本期录制时间是2024年9月27日 嘉宾介绍 Kimi Kong，Research engineer @Google deepmind, 他在 Stanford 读书期间就接触强化学习，从机器人到现在的大语言模型，对强化学习的理论和使用的沿革有非常系统的理解。 Eric Li （返场嘉宾！），Research scientist @Google Cloud, PhD @Caltech。大家都猜测 o1 将蒙特卡洛树搜索 (MCTS) 应用到了LLM，是提升逻辑推理能力的重要方式之一。Eric 就发表了多篇LLM和MCTS结合的论文，绝对的专家。 苏辉，前微信AI研究员，现国内一线互联网公司大模型负责人。 Cohost: Cage，原字节的数据科学家，现拾像科技研究员，公众号“海外独角兽”撰稿人 OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 02:36 嘉宾自我介绍，MCTS 科普，为什么对LLM+RL新范式很重要； Cursor 为何值得关注，Physics in LLM from Allen Zhu, 语言对推理能力的价值 20:25 对o1发布有什么印象深刻的地方，数据的重要性和难点 40:16 如何拆解o1能力提升的来源？如何重新训练一个o1? 56:10 为什么复杂的o1 却解决不好简单的数学或常识问题？ 60:16 o1 用于 tool use 的任务，可能有什么挑战？ 对agent 产品有什么影响？ 66:46 如何看待agent 数据集难收集的问题？ 68:38 什么是 Chain of Thoughts (CoT)和MCTS? 对o1的作用跟以前CoT做法有什么不一样？MCTS 在LLM推理中可能有什么作用？ 83:07 什么是强化学习（RL）？在LLM中应用RL是怎样的演进过程？ 89:35 RL和self play 其他领域，比如机器人，有怎样的应用？跟在LLM的应用有何异同？ 93:45 RL, CoT, self-play 之间是怎样的关系？ 真的可以无上限提升LLM推理能力吗？ 106:56 o1 有可能是单一模型还是 multi-agent system? 119:11 LLM和游戏有什么相互影响？为什么玩游戏的能力对LLM 很值得关注？游戏数据对LLM训练有什么价值？ 126:54 Google 很早就开始 RL 相关研究，为什么 OpenAI o1先出来了？ 133:16 o1 新范式的出现，对于追赶者来说意味着什么？更容易还是更难？ 141:43 要追赶 OpenAI o1, 最容易被低估和高估的是什么？ 143:48 对未来的展望：未来1年和3年，预期AI领域会发生什么？ 我们推荐的内容 * OpenAI: Scaling Laws for Reward Model Overoptimization * Cursor * Allen Zhu: Physics of Language Models * Language is primarily a tool for communication rather than thought * OpenAI: Improving mathematical reasoning with process supervision * InstructGPT * OpenAI PRM 800k 数据集 * Let's Verify Step by Step * Anthropic: Constitutional AI: Harmlessness from AI Feedback * RLAIF * OpenAI Hyung Won Chung: "Don't teach. Incentivize." * Toolformer * Chain of thoughts * DDPM * DPO * PPO * Sergey Levine: Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actorT Haarn * AlphaGo * AlphaGo-Zero * AlphaZero * MADDPG (Multi-Agent Deep Deterministic Policy Gradient (MADDPG), from OpenAI paper "Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments" * AlphaZero-Like Tree-Search can Guide Large Language Model Decoding and Training * Reasoning with Language Model is Planning with World Model * Chain of Thought Empowers Transformers to Solve Inherently Serial Problems 参考文章 * openai.com * openai.com * OpenAI’s Strawberry and inference scaling laws * 海外独角兽：LLM的范式转移：RL带来新的 Scaling Law * 张俊林：Reverse-o1:OpenAI o1原理逆向工程图解 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！