太全了！苹果上新视觉模型4M-21，搞定21种模态

国际科技财经移民娱乐民生时事体育

Bendi新闻

4月前

机器之心报道

编辑：陈萍、小舟

当前的多模态和多任务基础模型，如 4M 或 UnifiedIO，显示出有希望的结果。然而，它们接受不同输入和执行不同任务的开箱即用能力，受到它们接受训练的模态和任务的数量（通常很少）的限制。

基于此，来自洛桑联邦理工学院（EPFL）和苹果的研究者联合开发了一个任意到任意模态单一模型，该模型在数十种高度多样化的模态上进行训练，并对大规模多模态数据集和文本语料库进行协同训练。

训练过程中一个关键步骤是对各种模态执行离散 tokenization，无论它们是类似图像的神经网络特征图、向量、实例分割或人体姿态等结构化数据，还是可以表征为文本的数据。

论文地址：https://arxiv.org/pdf/2406.09406
论文主页 https://4m.epfl.ch/
论文标题：4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities

该研究展示了训练单一模型，也能完成现有模型至少 3 倍多的任务 / 模态，并且不会损失性能。此外，该研究还实现了更细粒度和更可控的多模态生成能力。

该研究建立在多模态掩码预训练方案的基础上，并通过在数十种高度多样化的模态上进行训练来提高模型能力。通过使用特定于模态的离散分词器对其进行编码，该研究实现了在不同模态上训练单个统一模型。

简单来说，该研究在几个关键维度上扩展了现有模型的功能：

模态：从现有最佳任意到任意模型的 7 种模态增加到 21 种不同模态，从而实现跨模态检索、可控生成和强大的开箱即用性能。这是第一次单个视觉模型可以以任意到任意的方式解决数十个不同的任务，而不会损害性能，并且没有任何传统的多任务学习。
多样性：添加对更多结构化数据的支持，例如人体姿态、SAM 实例、元数据等等。
tokenization：使用特定于模态的方法研究不同模态的离散 tokenization，例如全局图像嵌入、人体姿态和语义实例。
扩展：将模型大小扩展至 3B 参数，将数据集扩展至 0.5B 样本。
协同训练：同时在视觉和语言上协同训练。

方法介绍

该研究采用 4M 预训练方案（该研究同样来自 EPFL 和苹果，在去年发布），其被证明是一种通用方法，可以有效扩展到多模态。

具体而言，本文保持架构和多模态掩码训练目标不变，通过扩大模型和数据集的规模、增加训练模型所涉及的模态类型和数量，并且在多个数据集上进行联合训练，可以提升模型的性能和适应性。

模态分为以下几大类别：RGB、几何、语义、边缘、特征图、元数据和文本，如下图所示。

Tokenization

Tokenization 主要包括将不同模态和任务转换为序列或离散 token，从而统一它们的表示空间。研究者使用不同的 tokenization 方法来离散具有不同特征的模态，如图 3 所示。总而言之，本文采用了三种 tokenizer，包括 ViT tokenizer、MLP tokenizer 以及文本 tokenizer。