Meta「分割一切」进化2.0！一键跟踪运动物体，代码权重数据集全开源，网友：真正的OpenAI
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
又是发布即开源！
Meta“分割一切AI”二代SAM2在SIGGRAPH上刚刚亮相。
相较于上一代，它的能力从图像分割拓展到视频分割。
可实时处理任意长视频，视频中没见过的对象也能轻松分割追踪。
更关键的是，模型代码、权重以及数据集通通开源！
它和Llama系列一样遵循Apache 2.0许可协议，并根据BSD-3许可分享评估代码。
网友yygq：我就问OpenAI尴尬不尴尬。
Meta表示，此次开源的数据集包含51000个真实世界视频和600000个时空掩码（masklets，spatio-temporal masks)，规模远超此前最大同类数据集。
可在线试玩的demo也同步上线，大家都能来体验。
在SAM之上加入记忆模块
相较于SAM一代，SAM2的能力升级主要有：
支持任意长视频实时分割
实现zero-shot泛化
分割和追踪准确性提升
解决遮挡问题
它进行交互式分割的过程主要分为两步：选择和细化。
在第一帧中，用户通过点击来选择目标对象，SAM2根据点击自动将分割传播到后续帧，形成时空掩码。
如果SAM2在某些帧中丢失了目标对象，用户可以通过在新一帧中提供额外的提示来进行校正。
如果在第三帧中需要需要恢复对象，只需在该帧中点击即可。
SAM2的核心思路是将图像视作单帧视频，因此可以从SAM直接扩展至视频领域，同时支持图像和视频输入。
处理视频唯一的区别在于，模型需要依赖内存来回忆处理过的信息，以便在当前时间步长上准确分割对象。
与图像分割相比，视频分割中，物体的运动、变形、遮挡和光线等都会发生强烈变化。同时分割视频中的对象需要了解实体跨越空间和时间的位置。
所以Meta主要做了三部分工作：
设计一个可提示的视觉分割任务
在SAM基础上设计新模型
构建SA-V数据集
首先，团队设计了一个视觉分割任务，将图像分割任务推广到视频领域。
SAM被训练成以图像中的输入点、框或掩码来定义目标并预测分割掩码(segmentation mask)。
然后训练SAM在视频的任意帧中接受prompt来定义要预测的时空掩码(masklet)。
SAM2根据输入提示对当前帧上的掩码进行即时预测，并进行临时传播，在所有帧上都可生成目标对象的掩码。
一旦预测到初始掩码，就可以通过任何帧中向SAM2提供额外提示来进行迭代改进，它可以根据需要重复多次，直到获取到所有掩码。
通过引入流式记忆（streaming memory），模型可以实时处理视频，还能更加准确分割和跟踪目标对象。
它由记忆编码器、记忆库和记忆注意力模块组成。让模型一次只处理一帧图像，利用先前帧信息辅助当前帧的分割任务。
分割图像时，内存组件为空，模型和SAM类似。分割视频时，记忆组件能够存储对象信息以及先前的交互信息，从而使得SAM2可以在整个视频中进行掩码预测。
如果在其他帧上有了额外提示，SAM2可以根据目标对象的存储记忆进行纠错。
记忆编码器根据当前预测创建记忆，记忆库保留有关视频目标对象过去预测的信息。记忆注意力机制通过条件化当前帧特征，并根据过去帧的特征调整以产生嵌入，然后将其传递到掩码解码器以生成该帧的掩码预测，后续帧不断重复此操作。
这种设计也允许模型可以处理任意时长的视频，不仅对于SA-V数据集的注释收集很重要，也对于机器人等领域应有有影响。
如果被分割对象比较模糊，SAM2还会输出多个有效掩码。比如用户点击了自行车的轮胎，模型可以将此理解为多种掩码，可能是指轮胎、可能是指自行车全部，并输出多个预测。
在视频中，如果在一帧图像中仅有轮胎可见，那么可能需要分割的是轮胎；如果视频后续帧中很多都出现了自行车，那么可能需要分割的是自行车。
如果还是不能判断用户到底想分割哪个部分，模型会按照置信度进行选择。
此外，视频中还容易出现分割对象被遮挡的情况。为了解决这个新情况，SAM2还增加了一个额外的模型输出“遮挡头”（occlusion head），用来预测对象是否出现在当前帧上。
此外，在数据集方面。
SA-V中包含的视频数量是现有最大同类数据集的4.5倍，注释量则是53倍。
为了收集到如此多的数据，研究团队构建了一个数据引擎。人工会利用SAM2在视频中注释时空掩码，然后将新的注释用来更新SAM2。多次重复这一循环，就能不断迭代数据集和模型。
和SAM相似，研究团队不对注释的时空掩码进行语义约束，而是更加关注完整的物体。
这一方法让收集视频对象分割掩码速度也大幅提升，比SAM快8.4倍。
解决过度分割、超越SOTA
对比来看，使用SAM2可以很好解决过度分割的问题。
实验数据显示，和半监督SOTA方法比较，SAM2各项性能都表现不错。
不过研究团队也表示，SAM2还有不足，
比如可能会跟丢对象。如果相机视角变化大、在比较拥挤的场景里，就容易出现这类情况。所以他们设计了实时交互的模式，支持手动修正。
以及目标对象移动过快，可能会细节上有缺失。
最后，模型不仅开源支持免费使用，并已在Amazon SageMaker 等平台上托管。
值得一提的是，有人发现论文中提到SAM2训练是在256块A100上耗时108小时完成，对比SAM1则花了68小时。
从图像分割扩展到视频领域，成本如此低？
参考链接：
[1]https://ai.meta.com/blog/segment-anything-2/
[2]https://x.com/swyx/status/1818074658299855262
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者