ReSpark

机器人数据的问题一直是具身智能最重要的话题，我们在之前有两个系列来探讨机器人数据2024年的EP10 Robot Data第一季访谈总结和2025年的总结篇：Human Data—The “Key” to Robot Data，最近趁着Spirit v1.5开源，我也和许久没有交流的高阳老师一起聊了聊数据的话题，关于机器人数据的训练，他有一个非常有趣的观点：抛弃大多数、甚至几乎所有用于保证“干净数据”的规则，只保留一条原则——做一些有用的事情。 高阳现在是千寻智能的联合创始人，同时也是清华大学交叉信息研究院的助理教授。他本科毕业于清华大学计算机系，博士毕业于UC Berkeley。博士导师是Vision领域的大牛Trevor Darrell，读博期间和Sergey Levine合作开始强化学习方面的探索，博后跟随Pieter Abbeel做强化学习，合作的导师都是RL+Robotics这个领域的大牛。研究方向为计算机视觉和机器人的结合领域，教会机器人通过“看”去操纵周围的事物。我们之前有两期论文报道采访过高阳EP1对话高阳、汶川：如何利用互联网人类视频训练机器人大模型（ATM—RSS 2024满分论文）对话高阳：具身大模型框架ViLa+CoPa。 1. 具身智能路线的共识与非共识 3. Spirit v1.5的数据特色 2. Spirit v1.5开源具身模型 4. Spirit v1.5——Clean Data Is the Enemy of Great Robot Foundation Models https://www.spirit-ai.com/en/blog/spirit-v1-5

Human Data系列最后一期访谈，重磅嘉宾——诺亦腾机器人创始人戴若犁博士。如果你是石麻笔记的铁粉，请一定听一听这期播客。 1. 自我介绍 2. 几个工作和诺亦腾机器人的关系 3. 动捕设备科普 4. 不同的动捕方案有什么区别 5. 不同动捕方案如何选择 6. 为什么选择诺亦腾机器人的设备和数据？ 7. 短期内诺亦腾机器人能给社区带来什么? 8. 人才需求 9. 业务合作 Show Notes等博主有空再慢慢完善，详细可参考文字内容，公众号搜索石麻笔记（估计11月15日前后发布）。

熟悉石麻笔记的朋友们一定看过2023年的一篇文章AI+Robotics华人图谱。在 Human Data 系列的最后两期采访中，我非常荣幸地邀请到曾经出现在过这个图谱中的一位学者——韩磊博士进行深入对谈。 韩磊博士目前担任诺亦腾机器人（Noitom Robotics）联合创始人兼首席科学家。此前，他在腾讯 Robotics X 实验室 工作六年，担任具身智能负责人兼首席研究科学家。在此之前，他曾在腾讯人工智能实验室（Tencent AI Lab） 担任高级研究科学家。 在加入腾讯之前，韩磊曾任职于美国密西西比州立大学（Mississippi State University）基础科学系，担任助理研究教授（Assistant Research Professor）。他在北京大学获得博士学位，师从谢昆青教授，并先后在香港浸会大学（与张宇教授）和美国罗格斯大学（与张桐教授）从事博士后研究工作。 他的研究兴趣在大规模统计机器学习、强化学习、优化、多任务学习以及它们在机器人学、游戏、自然语言处理、计算机视觉和生物信息学等领域的应用”在这次正式访谈之前，我曾经和韩磊博士多次请教过强化学习与机器人结合的一些问题，非常欣赏他对技术思考的深度以及广度。 这次访谈，我和韩磊博士请教了关于以Human data为代表的机器人数据问题，以及目前机器人算法路径等问题，非常非常推荐你也一起听一听，或读一读。 1. 自我介绍 2. 怎么看强化学习近些年在各领域的发展 3. 创业为什么会选择机器人数据？ 4. 如果视频数据有突破动捕数据还重要吗？ 5. 3D模态对视频数据的重要性 6. 诺亦腾机器人给社区的贡献 7. 动捕数据和方案对比 8. 动捕+RL在解决操作任务上的机会 Show Notes等博主有空再慢慢完善，详细可参考文字内容，公众号搜索石麻笔记（估计11月15日前后发布）。

本期访谈的嘉宾Du Yilun。他是第一个将Diffusion Model应用于机器人动作生成的学者（Planning with Diffusion），也是第一个提出通过视频预测来做机器人轨迹预测的学者（UniPi）。 和Du Yilun博士的交流让我自己受益匪浅，对于和我一样，最近一直在思考VLA是否可以真的把通用机器人做work的人，请你一定要听听这期播客，看看这期文字整理。 Du Yilun目前是哈佛大学 Kempner Institute 及计算机科学系的助理教授，同时也是 Google DeepMind 的高级研究科学家。他于MIT电气工程与计算机科学系获得博士学位，导师是 Leslie Kaelbling 教授、Tomas Lozano-Perez 教授以及 Joshua B. Tenenbaum 教授。此前，他也在 MIT 获得本科学位，并曾在 OpenAI 担任研究员，在 FAIR和Google DeepMind 担任实习生与访问研究员，并曾获得国际生物奥林匹克金牌。 他的研究聚焦于生成模型、决策制定、机器人学习、具身智能体，以及这些工具在科学领域中的应用。他的研究目标是发展能在物理世界中自主行动的智能具身体。主要致力于利用生成式 AI 建立世界模型，从而将系统化的规划与迭代式推理引入到学习型智能体中。在这一背景下，生成式 AI 面临的关键挑战包括缺乏充足的建模数据，以及模型在未见过情境中的泛化能力。他通过构建可组合的生成模型来应对这一挑战，具体方法是使用能量地形学习（Energy-Based Models, EBMs）这一思想，以实现超越有限数据范围的泛化能力。他的早期 EBM 研究也促成了 2020 年扩散模型的发展。 以下为本文目录 01:00 自我介绍 02:15 什么是能量图谱？ 03:30 学习可组合的能量图谱来构建可泛化系统 07:00 进一步解释能量模型 09:10 Diffusion Model和能量图谱模型的关系 10:20 Diffusion Model和机器人的结合 12:20 为什么会坚持EBM这个方向？ 13:30 为什么特别关注可组合性和泛化能力 16:10 怎么理解可组合性？组合的是什么？ 20:20 这条路线的受关注度怎么样？ 22:10看好具身哪个方向？ 23:00 目前基于视频的方法有哪些？关于智能的理解 26:00 比较重要的研究工作基于可组合能量图谱的具身智能路线 28:00 你对“智能”的理解？ 29:30 语言和图像的智能实现了吗？ 30:30 通用机器人这个AGI的终局远吗？关于具身路线的探讨 32:00 目前具身的路线哪些可以落地？ 35:00 怎么看端到端VLA？ 39:00 为什么不看好RL？ 43:00 你认为目前通用机器人最大的问题是什么？ 46:00 为什么具身当下的研究没有新意？ 48:00 怎么对比语言和从物理载体中获得的智能？ 53:00 具身方向未来会有突破的环节关于通用机器人研究方向的探讨 56:00 对于新进入这个领域的同学的建议 References： Du Yilun个人主页：yilundu.github.io