具身智能体三维感知新链条，TeleAI &上海AI Lab提出多视角融合具身模型「SAM-E」

7月前

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]

当我们拿起一个机械手表时，从正面会看到表盘和指针，从侧面会看到表冠和表链，打开手表背面会看到复杂的齿轮和机芯。每个视角都提供了不同的信息，将这些信息综合起来才能理解操作对象的整体三维。

想让机器人在现实生活中学会执行复杂任务，首先需要使机器人理解操作对象和被操作对象的属性，以及相应的三维操作空间，包括物体位置、形状、物体之间的遮挡关系，以及对象与环境的关系等。

其次，机器人需要理解自然语言指令，对未来动作进行长期规划和高效执行。使机器人具备从环境感知到动作预测的能力是具有挑战性的。

近期，中国电信人工智能研究院（TeleAI）李学龙教授团队联合上海人工智能实验室、清华大学等单位，模拟人「感知—记忆—思维—想象」的认知过程，提出了多视角融合驱动的通用具身操作算法，为机器人学习复杂操作给出了可行解决方案，论文被国际机器学习大会ICML 2024录用，为构建通用三维具身策略奠定了基础。

近年来，视觉基础模型对图像的理解能力获得了飞速发展。然而，三维空间的理解还存在许多挑战。能否利用视觉大模型帮助具身智能体理解三维操作场景，使其在三维空间中完成各种复杂的操作任务呢？受「感知—记忆—思维—想象」的认知过程启发，论文提出了全新的基于视觉分割模型Segment Anything（SAM）的具身基座模型SAM-E。

首先，SAM- E具有强大可提示（promptable）「感知」能力，将SAM特有的分割结构应用在语言指令的具身任务中，通过解析文本指令使模型关注到场景中的操作物体。

随后，设计一种多视角Transformer，对深度特征、图像特征与指令特征进行融合与对齐，实现对象「记忆」与操作「思考」，以此来理解机械臂的三维操作空间。

最后，提出了一种全新的动作序列预测网络，对多个时间步的动作序列进行建模，「想象」动作指令，实现了从三维场景感知到具身动作的端到端输出。

论文名称：SAM-E: Leveraging Visual Foundation Model with Sequence Imitation for Embodied Manipulation
论文链接： https://sam-embodied.github.io/static/SAM-E.pdf
项目地址： https://sam-embodied.github.io/

从二维感知到三维感知‍‍‍‍‍‍‍‍

在数字时代的浪潮中，随着人工智能技术的飞速发展，我们正逐渐迈入一个崭新的时代——具身智能时代。赋予智能体以身体，使其具备与真实世界直接互动的能力，成为了当前研究的重点方向之一。

要实现这一目标，智能体必须具备强大的三维感知能力，以便能够准确地理解周围环境。

传统的二维感知手段在面对复杂的立体空间时显得力不从心，如何让具身智能体通过学习掌握对三维空间的精准建模能力，成为了一个亟待解决的关键问题。

现有工作通过正视图、俯视图、侧视图等等多个视角的视图还原和重建三维空间，然而所需的计算资源较为庞大，同时在不同场景中具有的泛化能力有限。

为了解决这个问题，本工作探索一种新的途径——将视觉大模型的强大泛化能力应用于具身智能体的三维感知领域。

SAM-E提出了使用具有强大泛化能力的通用视觉大模型 SAM 进行视觉感知，通过在具身场景的高效微调，将其具有的可泛化，可提示（promptable）的特征提取能力、实例分割能力、复杂场景理解等能力有效迁移到具身场景中。

为了进一步优化SAM基座模型的性能，引入了动作序列网络的概念，不仅能够捕捉单个动作的预测，还能够深入理解连续动作之间的内在联系，充分挖掘动作间的时序信息，从而进一步提高基座模型对具身场景的理解与适应能力。

图1. SAM-E总体框架

SAM-E方法

SAM-E方法的核心观点主要包含两个方面：

利用SAM的提示驱动结构，构建了一个强大的基座模型，在任务语言指令下拥有出色的泛化性能。通过LoRA微调技术，将模型适配到具身任务中，进一步提升了其性能。
采用时序动作建模技术，捕捉动作序列中的时序信息，更好地理解任务的动态变化，并及时调整机器人的策略和执行方式，使机器人保持较高的执行效率。

可提示感知与微调

SAM- E核心在于利用任务指令提示驱动的网络结构，包含一个强大的视觉编码器和一个轻量的解码器。

在具身场景中任务「提示」以自然语言的形式呈现，作为任务描述指令，视觉编码器发挥其可提示的感知能力，提取与任务相关的特征。策略网络则充当解码器的角色，基于融合的视觉嵌入和语言指令输出动作。

在训练阶段，SAM-E 使用 LoRA 进行高效微调，大大减少了训练参数，使视觉基础模型能够快速适应于具身任务。

多视角三维融合

SAM-E引入了多视角Transformer网络，以融合多视角的视觉输入，深入理解三维空间。其工作分为两个阶段：视角内注意力（View-wise Attention）和跨视角注意力（Cross-view Attention）。

首先，对多视角特征分别进行视角内部的注意力处理，然后融合多个视角和语言描述进行混合视角注意力，实现多视角的信息融合和图像—语言对齐。

动作序列建模

在机械臂执行中，末端执行器的位置和旋转通常呈现出连续而平滑的变化趋势。这一特性使得相邻动作之间存在着密切的联系和连续性。基于这一观察，提出了一种新颖的时间平滑假设，旨在充分利用相邻动作之间的内在关联，实现对动作序列的有效模仿学习。

具体来说，SAM-E框架通过序列建模技术捕捉动作序列中的模式和关系，为动作预测提供一种隐性的先验知识，并对动作的连续性加以约束，从而显著提升动作预测的准确性和一致性。

在实际应用中，SAM-E 允许在一次动作预测中执行后续的多步动作，极大地提高了执行效率。