ReSpark

人形机器人通用控制器系列，我们在专访Xue Bin(Jason) Peng：探索人形机器人全身运控的通用控制器，专访罗正宜：解密PHC——人形机器人通用控制器，以及2025年的Human Data系列总结篇：Human Data—The “Key” to Robot Data的一些列采访都有涉及。 这期文章，我再次邀请到了罗正宜博士，来聊一聊在人形机器人全身运控领域家喻户晓的工作SONIC。罗正宜（Zhengyi Luo）是英伟达GEAR实验室的一名研究科学家，博士毕业于CMU，他的导师是 Kris Kitani 教授。在此之前，他于2019年在宾夕法尼亚大学获得了本科学位，并曾在 Kostas Daniilidis 教授的指导下开展研究工作。罗正宜博士的的研究兴趣主要集中在视觉、学习与机器人技术的交叉领域。主要研究方向包括人体姿态估计、人-物交互建模、人类运动建模等。 1. Sonic的核心思想 2. 模型方法介绍 3. Sonic性能的特色 4. Sonic训练数据的特色 5. 关于Data Retargeting 6. Retargeting最难的问题是什么？ 7. 人与物体交互的数据 8. Sonic有哪些应用 9. Sonic对不同型号机器人的适配性 10. Sonic的开源状态 11. 一些问题 -retargeting vs SMPL -惯性动捕 vs VR -VLA-Controller -轮式双臂 vs 双足 -跨embodiment的通用controller -大幅度强交互场景 -通用和专用 -进一步的算力和规模提升 -多模态 References： Sonic：nvlabs.github.io 罗正宜社交媒体： X/Twitter: @zhengyiluo LinkedIn: Zhengyi (Zen) Luo Website: www.zhengyiluo.com Google Scholar: scholar.google.com 小红书：正合时宜

关于Human Data，我们在2025年用了大半年的时间去展现以及科普一些最前沿的学术工作，集锦可以参考总结篇：Human Data—The “Key” to Robot Data。去年的工作汇总更多的是在全身运动控制，在进入2026年，随着EgoScale等工作发布，我们看到了人类数据在机器人操作上的可能性。在EgoScale发布的同期，一篇名为“To Summon a Sensorimotor Ghost”博文吸引了我的关注，我也非常荣幸能够邀请到这篇博文的作者Danfei来做这次专访。Danfei Xu也是我在2025年AI+Robotics华人图谱关注到的学者，他在AI机器人领域有很多出色工作，尤其近两年在如何利用人类数据上有很多探索，比如EgoMimic，EgoBridge，InMimic，EMMA以及EgoScale。 Danfei Xu是Georgia Tech的助理教授，同时也参与NVIDIA Research的部分研究工作。他的研究范围比较广，从较为传统的机器人问题，比如manipulation planning和motion planning，到一些较新的方向，例如imitation learning、learning-based planning以及robot foundation models等。我们这次访谈主要聚焦在一个最近比较受关注的问题：机器人是否能够从人类数据中学习，以及能否从这些人类数据中提取出对机器人有用的知识。 第一部分 为什么会关注Human Data 1. 基于人类数据的分类 第二部分 关于Human data的建模和采集 2. 不同技术路线对应的人类数据？ 3. 如何获取多模态的人体数据？ 4. 视觉信息是否应该带深度？ 5. AI眼镜公司有机会替代Aria吗？ 6. 可穿戴眼镜普及的推动效果？ 7. 第一视角和第三视角哪种视角更有用？ 8. 第一视角的数据可以是RGB吗？ 9. 真正可以scale机器人的human data的收集方式 10. 机器人数据的收集需要等穿戴设备先普及吗？ 11. 人体局部和全身数据怎么协同？ 12. 全身和局部数据采集能放在同一个设备里？ 第三部分 关于人类行为的建模 13. 怎么对人类行为进行建模？ 14. 人类行为建模有哪些尝试？ 15. 怎么看真机数据采集？ 16. 近期的几个工作介绍 17. human data使用的takeaways是什么？ 18. 怎么看现在操作上的sys2和sys1？ 19. 如何将System 2围绕长期目标实现？ 20. 世界模型会是System 2 的基础架构？ 第四部分 关于Human-robot transfer 21. 怎么解决Human-robot transfer问题？ 22. 真正的通用机器人是否遥远？ 23. 通用机器人什么时候有雏形？

机器人数据的问题一直是具身智能最重要的话题，我们在之前有两个系列来探讨机器人数据2024年的EP10 Robot Data第一季访谈总结和2025年的总结篇：Human Data—The “Key” to Robot Data，最近趁着Spirit v1.5开源，我也和许久没有交流的高阳老师一起聊了聊数据的话题，关于机器人数据的训练，他有一个非常有趣的观点：抛弃大多数、甚至几乎所有用于保证“干净数据”的规则，只保留一条原则——做一些有用的事情。 高阳现在是千寻智能的联合创始人，同时也是清华大学交叉信息研究院的助理教授。他本科毕业于清华大学计算机系，博士毕业于UC Berkeley。博士导师是Vision领域的大牛Trevor Darrell，读博期间和Sergey Levine合作开始强化学习方面的探索，博后跟随Pieter Abbeel做强化学习，合作的导师都是RL+Robotics这个领域的大牛。研究方向为计算机视觉和机器人的结合领域，教会机器人通过“看”去操纵周围的事物。我们之前有两期论文报道采访过高阳EP1对话高阳、汶川：如何利用互联网人类视频训练机器人大模型（ATM—RSS 2024满分论文）对话高阳：具身大模型框架ViLa+CoPa。 1. 具身智能路线的共识与非共识 3. Spirit v1.5的数据特色 2. Spirit v1.5开源具身模型 4. Spirit v1.5——Clean Data Is the Enemy of Great Robot Foundation Models https://www.spirit-ai.com/en/blog/spirit-v1-5

Human Data系列最后一期访谈，重磅嘉宾——诺亦腾机器人创始人戴若犁博士。如果你是石麻笔记的铁粉，请一定听一听这期播客。 1. 自我介绍 2. 几个工作和诺亦腾机器人的关系 3. 动捕设备科普 4. 不同的动捕方案有什么区别 5. 不同动捕方案如何选择 6. 为什么选择诺亦腾机器人的设备和数据？ 7. 短期内诺亦腾机器人能给社区带来什么? 8. 人才需求 9. 业务合作 Show Notes等博主有空再慢慢完善，详细可参考文字内容，公众号搜索石麻笔记（估计11月15日前后发布）。