医疗具身智能作为一个融合了多个学科领域、发展迅猛的研究方向，广泛涵盖了 AI 算法、机器人技术以及生物医学等众多学科范畴。在这样的背景下，为了更有效地促进多学科之间的协同合作与共同发展，全面分析和系统总结医疗具身智能领域的最新进展以及所面临的挑战显得尤为重要。

近期，由港科广、中南、西湖大学、UIUC、新加坡国立大学、上海 AI Lab、宾夕法尼亚大学等多个团队联合发布的首篇聚焦医疗领域具身智能的综述论文《A Survey of Embodied AI in Healthcare: Techniques, Applications, and Opportunities》正式上线。该论文的第一作者为中南大学的刘艺灏，通讯作者则是香港科技大学（广州）的助理教授陈晋泰。这篇具有重要意义的综述论文，对具身智能在医疗领域的关键技术以及应用前景进行了全面且深入的梳理。

论文相关信息

• 论文标题：A Survey of Embodied AI in Healthcare: Techniques, Applications, and Opportunities


• 论文链接：arxiv.org

具身智能如何赋能现代医疗

具身智能（EmAI）通过将多模态感知、行动控制、决策计划以及记忆能力进行深度融合，赋予了人工智能类似于人类的感知与执行能力。通过将 MLLMs、VLA models 等技术与机器人技术有机结合，具身智能展现出了适应复杂医疗环境的巨大潜力。以下是具身智能核心功能模块的具体介绍：

1.感知模块

具身感知作为 EmAI 系统的核心功能之一，通过多种感知方式助力系统更好地理解周围环境，并与之进行有效互动。具体包含以下几个方面：

• 感官感知：这是整个感知过程的基础环节，通过收集来自不同感官传感器的输入信息，如视觉、触觉以及声音等，帮助系统构建起对外部世界的初步认知框架。


• 跨模态感知：为了使系统对环境形成更全面、深入的理解，跨模态感知通过整合不同模态的信息（例如将视觉信息与语言信息相结合），显著提升了感知的准确性和深度。这种跨模态的集成方式，使系统不仅能够精准解读复杂的场景信息，还能在动态变化的环境中做出更为有效的决策。


• 交互感知（Interactive perception）：交互感知进一步推动了 EmAI 系统感知能力的发展与提升。它并非仅仅依赖于静态的传感数据，而是通过一系列物理行为，如对物体进行操作或者改变观察视角等方式，来解决感知过程中存在的不确定性问题。通过不断地探索这些行为并获取反馈信息，EmAI 系统能够在实际操作过程中持续完善自身的感知模型，从而更从容地应对各种复杂多变的任务。在执行物体操作或场景理解等任务时，交互感知的重要性尤为凸显。

2.行动模块

行动模块是具身智能不可或缺的基础组成部分，主要涉及如何运用各种控制策略来引导系统实时做出动作。这些控制策略涵盖了动作的选择与执行过程，旨在依据感知信息进行实时调整，从而优化运动控制，以完成各类精细的操作任务。通过不断探索更优的策略表示和策略学习方法，具身智能实现了更高的精准性与适应性。

• 控制策略的表示方式：控制策略的表示通常有显式策略、隐式策略和扩散策略这三种方式。显式策略通过行为克隆等方法，直接将观察结果映射为动作，这种方式适用于相对简单的任务场景，但在面对复杂任务时可能存在局限性。隐式策略则借助能量函数来表达动作选择的偏好倾向，更适合处理多模态任务，具有较强的表达能力。扩散策略通过去噪扩散生成模型来生成控制策略，能够提供更为多样化的表示形式，尤其在离线强化学习和基于视觉的操作场景中展现出较大的应用潜力。


• 策略学习方法：在策略学习方面，强化学习（RL）和模仿学习（IL）是两种主要的学习方法。强化学习通过不断尝试和错误的方式来优化控制策略，依据环境反馈实时调整自身行为，以实现目标的最优化，适用于需要长期适应环境变化的任务。然而，强化学习往往面临采样

3、决策模块

与低级控制策略处理简单的实时动作不同，高级规划主要聚焦于如何将复杂任务分解为多个子任务，并通过逻辑推理和决策来完成这些任务。传统的规划方法，如 A * 算法和 Dijkstra 算法，虽然在结构化环境中非常有效，但在面对复杂的高维状态空间或部分可观测环境时，往往面临较大的挑战。因此，近年来，基于 LLM 的高级规划方法逐渐得到应用，它通过将抽象的指令转化为可执行的机器人任务，从而实现了认知推理与物理任务执行的结合。近年来，端到端具身大模型也逐渐被提出，这种方法将高级决策规划与低级动作生成整合到一个统一的系统中，能够更加高效地处理复杂的任务指令，避免了传统方法中不同模块之间的分离和局限。

表 2：规划方法总结

4、记忆模块

记忆模块主要负责存储和处理系统的经验和知识，以帮助其在复杂环境中进行自我适应和决策。记忆在 EmAI 系统中通常分为短期记忆和长期记忆两种形式，它们各自发挥着不同的作用。Ⅰ) 短期记忆主要用于处理和存储系统在当前任务或交互中所需要的即时数据，例如当前的感知信息或上下文内容。例如，在与用户的对话中，EmAI 系统会保持对话历史，以便实时调整其响应。Ⅱ) 长期记忆则主要用于存储更为持久和重要的知识，支持系统的长期学习和适应。通过集成长期记忆，EmAI 能够将过去的经验用于未来的决策和推理。存储长期记忆通常通过内部模型权重或外部数据库来实现。内部记忆的更新通常通过监督微调、指令微调等方法来实现，而外部记忆的更新则依赖于外部数据库或知识图谱的动态改进。

Applications：四大应用场景的实践与突破

论文探讨了具身智能在以下四大医疗健康领域的研究实践和应用：

• 临床干预：从术前诊断到术后康复，支持精准医疗的全流程覆盖。


• 护理陪伴：提升儿童、老年人及特殊人群生活质量，减轻护理负担。


• 设施运转：通过应急响应、药品分配等任务优化医疗资源。


• 研究开发：加速数据分析与实验自动化，为医学突破提供动力。

高质量的数据集是推动具身智能研究发展的基石，对于提升系统的性能和可靠性至关重要。如图 8 所示，这些数据集涵盖了临床干预、日常护理陪伴、生物医学研究等多个领域，为 EmAI 系统提供了丰富的训练材料。然而，目前的高质量数据集仍存在一定的局限性，特别是在样本多样性和多模态数据整合方面。现有数据集可能面临样本不足、区域和人群代表性不均等问题，这使得它们难以应对不同临床环境或个体差异带来的挑战。同时，多模态数据整合也亟需加强。目前，许多数据集依赖单一的感知输入（如视觉或语言），而忽略了触觉、声音等其他感知维度的整合，这限制了 EmAI 系统在复杂场景中的应用潜力。

具身智能在医疗领域展现了巨大潜力，但其发展仍面临着多重挑战，主要包括伦理和法律问题、技术准确性和可解释性问题，以及与现有医疗系统的互操作性问题。尤其是在责任划分、患者同意和数据透明度等方面，需要建立明确的法律框架和伦理监督机制，同时技术的准确性和系统的互通性也亟待解决。从个性化诊疗到实验室自动化，具身智能正在全面变革医疗服务，通过持续技术创新和跨学科协作，具身智能将为全球医疗系统带来深远影响，推动智慧医疗迈向新的高度。

(部分资料源于网络)

本期主播：蛋酥酥/猫猫

后期：丹尼播客制作

制作人：蛋酥酥

录制支持：KUEENDOM