ReSpark

关于Human Data，我们在2025年用了大半年的时间去展现以及科普一些最前沿的学术工作，集锦可以参考总结篇：Human Data—The “Key” to Robot Data。去年的工作汇总更多的是在全身运动控制，在进入2026年，随着EgoScale等工作发布，我们看到了人类数据在机器人操作上的可能性。在EgoScale发布的同期，一篇名为“To Summon a Sensorimotor Ghost”博文吸引了我的关注，我也非常荣幸能够邀请到这篇博文的作者Danfei来做这次专访。Danfei Xu也是我在2025年AI+Robotics华人图谱关注到的学者，他在AI机器人领域有很多出色工作，尤其近两年在如何利用人类数据上有很多探索，比如EgoMimic，EgoBridge，InMimic，EMMA以及EgoScale。 Danfei Xu是Georgia Tech的助理教授，同时也参与NVIDIA Research的部分研究工作。他的研究范围比较广，从较为传统的机器人问题，比如manipulation planning和motion planning，到一些较新的方向，例如imitation learning、learning-based planning以及robot foundation models等。我们这次访谈主要聚焦在一个最近比较受关注的问题：机器人是否能够从人类数据中学习，以及能否从这些人类数据中提取出对机器人有用的知识。 第一部分 为什么会关注Human Data 1. 基于人类数据的分类 第二部分 关于Human data的建模和采集 2. 不同技术路线对应的人类数据？ 3. 如何获取多模态的人体数据？ 4. 视觉信息是否应该带深度？ 5. AI眼镜公司有机会替代Aria吗？ 6. 可穿戴眼镜普及的推动效果？ 7. 第一视角和第三视角哪种视角更有用？ 8. 第一视角的数据可以是RGB吗？ 9. 真正可以scale机器人的human data的收集方式 10. 机器人数据的收集需要等穿戴设备先普及吗？ 11. 人体局部和全身数据怎么协同？ 12. 全身和局部数据采集能放在同一个设备里？ 第三部分 关于人类行为的建模 13. 怎么对人类行为进行建模？ 14. 人类行为建模有哪些尝试？ 15. 怎么看真机数据采集？ 16. 近期的几个工作介绍 17. human data使用的takeaways是什么？ 18. 怎么看现在操作上的sys2和sys1？ 19. 如何将System 2围绕长期目标实现？ 20. 世界模型会是System 2 的基础架构？ 第四部分 关于Human-robot transfer 21. 怎么解决Human-robot transfer问题？ 22. 真正的通用机器人是否遥远？ 23. 通用机器人什么时候有雏形？

机器人数据的问题一直是具身智能最重要的话题，我们在之前有两个系列来探讨机器人数据2024年的EP10 Robot Data第一季访谈总结和2025年的总结篇：Human Data—The “Key” to Robot Data，最近趁着Spirit v1.5开源，我也和许久没有交流的高阳老师一起聊了聊数据的话题，关于机器人数据的训练，他有一个非常有趣的观点：抛弃大多数、甚至几乎所有用于保证“干净数据”的规则，只保留一条原则——做一些有用的事情。 高阳现在是千寻智能的联合创始人，同时也是清华大学交叉信息研究院的助理教授。他本科毕业于清华大学计算机系，博士毕业于UC Berkeley。博士导师是Vision领域的大牛Trevor Darrell，读博期间和Sergey Levine合作开始强化学习方面的探索，博后跟随Pieter Abbeel做强化学习，合作的导师都是RL+Robotics这个领域的大牛。研究方向为计算机视觉和机器人的结合领域，教会机器人通过“看”去操纵周围的事物。我们之前有两期论文报道采访过高阳EP1对话高阳、汶川：如何利用互联网人类视频训练机器人大模型（ATM—RSS 2024满分论文）对话高阳：具身大模型框架ViLa+CoPa。 1. 具身智能路线的共识与非共识 3. Spirit v1.5的数据特色 2. Spirit v1.5开源具身模型 4. Spirit v1.5——Clean Data Is the Enemy of Great Robot Foundation Models https://www.spirit-ai.com/en/blog/spirit-v1-5

Human Data系列最后一期访谈，重磅嘉宾——诺亦腾机器人创始人戴若犁博士。如果你是石麻笔记的铁粉，请一定听一听这期播客。 1. 自我介绍 2. 几个工作和诺亦腾机器人的关系 3. 动捕设备科普 4. 不同的动捕方案有什么区别 5. 不同动捕方案如何选择 6. 为什么选择诺亦腾机器人的设备和数据？ 7. 短期内诺亦腾机器人能给社区带来什么? 8. 人才需求 9. 业务合作 Show Notes等博主有空再慢慢完善，详细可参考文字内容，公众号搜索石麻笔记（估计11月15日前后发布）。

熟悉石麻笔记的朋友们一定看过2023年的一篇文章AI+Robotics华人图谱。在 Human Data 系列的最后两期采访中，我非常荣幸地邀请到曾经出现在过这个图谱中的一位学者——韩磊博士进行深入对谈。 韩磊博士目前担任诺亦腾机器人（Noitom Robotics）联合创始人兼首席科学家。此前，他在腾讯 Robotics X 实验室 工作六年，担任具身智能负责人兼首席研究科学家。在此之前，他曾在腾讯人工智能实验室（Tencent AI Lab） 担任高级研究科学家。 在加入腾讯之前，韩磊曾任职于美国密西西比州立大学（Mississippi State University）基础科学系，担任助理研究教授（Assistant Research Professor）。他在北京大学获得博士学位，师从谢昆青教授，并先后在香港浸会大学（与张宇教授）和美国罗格斯大学（与张桐教授）从事博士后研究工作。 他的研究兴趣在大规模统计机器学习、强化学习、优化、多任务学习以及它们在机器人学、游戏、自然语言处理、计算机视觉和生物信息学等领域的应用”在这次正式访谈之前，我曾经和韩磊博士多次请教过强化学习与机器人结合的一些问题，非常欣赏他对技术思考的深度以及广度。 这次访谈，我和韩磊博士请教了关于以Human data为代表的机器人数据问题，以及目前机器人算法路径等问题，非常非常推荐你也一起听一听，或读一读。 1. 自我介绍 2. 怎么看强化学习近些年在各领域的发展 3. 创业为什么会选择机器人数据？ 4. 如果视频数据有突破动捕数据还重要吗？ 5. 3D模态对视频数据的重要性 6. 诺亦腾机器人给社区的贡献 7. 动捕数据和方案对比 8. 动捕+RL在解决操作任务上的机会 Show Notes等博主有空再慢慢完善，详细可参考文字内容，公众号搜索石麻笔记（估计11月15日前后发布）。