李飞飞揭秘创业方向“空间智能”：视觉化为洞察！看见成为理解，理解导致行动！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/扩散/多模态】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

梦晨 发自 凹非寺
转载自：量子位（QbitAI)

斯坦福李飞飞创业后，首次揭秘新概念“空间智能”。

这不仅是她的创业方向，也是指引她的“北极星”，被她认为是“解决人工智能难题的关键拼图”。

视觉化为洞察；看见成为理解；理解导致行动。

李飞飞最新15分钟TED演讲完整公开，从数亿年前生命进化的起源开始，到人类如何不满足于自然赋予而发展人工智能，到下一步如何构建空间智能。

而9年前，正是在同一个舞台上，李飞飞向世界介绍了刚诞生不久的ImageNet——这一轮深度学习爆发的起点之一。

她本人也向网友自我安利：如果把两个视频都看了，你就能对过去10年的计算机视觉、空间智能和AI有很好的了解。

下面在不改变其原意的基础上，我们对李飞飞演讲内容做整理。

空间智能，让AI理解现实世界

生物视觉的进化‍‍

让我向你展示一些东西，确切地说，我将向你展示“空无一物”。

这是5.4亿年前的世界。纯粹、无尽的黑暗。它之所以黑暗，并不是因为缺少光线。它之所以黑暗，是因为缺少视觉。

尽管阳光能够穿透海洋表面下1000米，来自海底热泉喷口的光线也能渗透到海底，充满了生命的海底，但这些古老的水域中找不到一只眼睛。

没有视网膜，没有角膜，没有晶状体。所以所有这些光线，所有这些生命，都未被看见。

曾经有一段时间，“看到”的概念还不存在。它曾经从未被实现过，直到它被实现了。

出于某种我们才开始理解的原因，能够感知光线的第一批生物——三叶虫出现了。它们是最早一批能够感知我们习以为常的现实的生物。它们是最早一批发现除了自己之外还有其他事物存在的生物。

世界第一次充满众多“自我”。

视觉能力被认为引发了寒武纪大爆发，一个动物物种大量进入化石记录的时期。最初是被动体验，简单让光线进入的行为，很快变得更加主动，神经系统开始进化。

视觉变成了洞察力。看变成了理解。理解导致了行动。

所有这些都催生了智能。

计算机视觉的崛起

今天，我们不再满足于自然界赋予的视觉能力。好奇心驱使我们创造机器，希望其视觉能力至少和我们一样，甚至更好。

九年前，在这个舞台上，我提交了一份关于计算机视觉的早期进展报告。

当时，三个强大的力量首次汇聚在一起：

• 一类称为神经网络的算法

• 快速、专门的硬件，称为图形处理单元，或GPU

• 再加上大数据，比如我的实验室花数年时间整理的1500万张图像，称为ImageNet。

它们共同迎来了现代人工智能时代。

从那时起到现在，我们已经走了相当远。

最开始，仅仅给图像贴上标签就是一个重大突破,但算法的速度和准确性迅速提高。

由我的实验室主办的年度ImageNet挑战赛衡量了这一进展。在这张图表中，可以看到每年模型能力的提高，和其中一些里程碑模型。

我们更进一步，创建了能够分割视觉对象或预测它们之间动态关系的算法，这些工作是由我的学生和合作者完成的。

还有更多。

回想上次演讲我展示的第一个计算机视觉算法，AI可以用人类的自然语言描述一张照片。那是我和聪明的学生Andrej Karpathy一起完成的工作。

当时，我大胆地说：“Andrej，我们能让计算机做相反的事情吗？”Andrej笑着说说：“哈哈，那是不可能的。”

好吧，正如您今天看到的，不可能已经变得可能。

这要归功于一系列扩散模型，为当今的生成式AI算法提供动力，可以将人类的提示词转化为照片和视频，创造出全新的事物。

你们中许多人已经看到了OpenAI的Sora，最近取得令人印象深刻的成果。不过，早在几个月前，在没有大量GPU的情况下，我的学生和合作者们就开发出了一个名为Walt的AI视频生成模型。

△Walt发表于2023年12月

这里还有改进的空间，看看那只猫的眼睛，它在波浪下从未被弄湿，好一个灾～难～（cat-astrophe）。

（谐音梗扣钱！）

空间智能：仅仅看是不够的

过去是一个序章，我们将从这些错误中学习，并创造一个我们想象中的未来。在这个未来，我们希望AI尽其所能为我们做事，或帮助我们做事。

多年来，我一直在说拍照和看到和理解不是一回事。今天，我想再补充一点：仅仅看是不够的。

看，是为了行动和学习。

当我们在3D时空中采取行动时，我们学习，我们学会更好地看，更好地做事。大自然通过“空间智能”创造了一个看和行动的良性循环。

为了展示空间智能是什么，请看这张照片。如果你有想要做点什么的冲动，就举起手。

在一刹那，你的大脑观察了这个杯子的几何形状，它在3D空间中的位置，它与桌子、猫和所有其他物体的关系，而且你可以预测接下来会发生什么。

行动的冲动是所有具有空间智能的生物固有的，它将感知与行动联系起来。

如果我们想让AI超越当前能力，我们不仅想要能够看到和说话的AI，我们想要能够行动的AI。

事实上，我们正在取得令人兴奋的进展。

空间智能的最新里程碑是教计算机看到、学习、行动，并学习看到和行动得更好。

而这并不容易。

大自然花费了数百万年时间进化出空间智能，眼睛捕捉光线，将2D图像投射到视网膜上，大脑将这些数据转换成3D信息。

直到最近，一群来自谷歌的研究人员才开发出一种算法，将一组照片转换成3D空间。

我的学生和合作者们更进一步，创建了一个将单个图像变成3D形状的算法。

密歇根大学的一组研究人员找到了一种方法，将句子转换成3D房间布局。

我在斯坦福大学的同事和他的学生们开发了一种算法，可以从单个图像生成无限可能的空间，供观众探索。

这些就是未来可能性的的原型。在这个可能性中，人类可以将我们的整个世界转化为数字形式，并模拟其丰富和细微之处。

大自然在我们每个人的头脑中隐性地做了什么，空间智能技术有望能为我们的集体意识（collective consciousness）做同样的事情。

随着空间智能的加速进步，一个新时代在这个良性循环中正在我们眼前展开。这种循环正在催化机器人学习，这是任何需要理解和与3D世界互动的具身智能系统的关键组成部分。

十年前，我的实验室的ImageNet使数百万张高质量照片的数据库成为可能，帮助训练计算机视觉。

今天，我们正在做类似的事情，训练计算机和机器人如何在3D世界中行动。

这次我们不是收集静态图像，而是开发由3D空间模型驱动的模拟环境，以便计算机可以学习行动的无限可能性。

你刚刚看到的是教导我们的机器人的一小部分例子，这是一个由我的实验室领导的项目，称为Behavior。

我们也在机器人语言智能方面取得了令人兴奋的进展。

使用基于大型语言模型的输入，我学生以及合作者是第一批展示机械臂可以根据口头指令执行各种任务的团队之一。

比如打开这个抽屉或拔掉电话线。或者制作三明治，使用面包、生菜、西红柿，甚至为用户放一张餐巾纸。通常情况下我希望三明治更丰富一些，但这是一个好的起点。

空间智能的应用前景

在古老时代的原始海洋中，能够看到和感知环境的能力引发了与其他生命形式互动的寒武纪大爆发。

今天，那道光正在达到数字思维。

空间智能不仅允许机器与彼此互动，而且还能与人类，以及真实或虚拟的3D世界互动。

随着这个未来成形，它将对许多生命产生深远的影响。

让我们以医疗保健为例。在过去的十年中，我的实验室一直在做初步努力，将AI应用于解决影响患者结果和医疗人员疲劳的挑战。

与来自斯坦福医学院的合作者和其他合作医院一起，我们正在试验一些智能传感器，可以检测到临床医生是否在没有正确洗手的情况下进入病人房间。或跟踪手术器械，或在病人身体面临风险，如跌倒时提醒护理团队。

我们认为这些技术是一种环境智能，就像额外的眼睛。

但我更希望为我们的患者、临床医生和护理人员提供更多的互动帮助，他们迫切需要额外的一双手。

想象一下，一个自主机器人在护理人员专注于病人的同时运输医疗用品，或者用增强现实技术，引导外科医生进行更安全、更快、更少侵入性的操作。

再想象一下，严重瘫痪的病人可以用他们的思想控制机器人。没错，用脑电波来执行你和我习以为常的日常任务。

这是最近我的实验室进行的一项试点研究。在这个视频中，机器人手臂仅通过大脑电信号控制，正在烹饪一顿日本寿喜锅餐。其中信号非侵入性地通过EEG帽收集。

五亿年前，视觉的出现颠覆了黑暗的世界，引发了最深刻的进化过程：动物世界的智能发展。

过去十年AI的进步同样令人惊叹。但我相信，直到我们为计算机和机器人赋予空间智能，就像大自然对我们所有人所做的那样，这场数字寒武纪大爆发的全部潜力才会完全展现。

这是一个激动人心的时刻，教我们的数字伙伴学会推理，和与我们称之为家的这个美丽的3D空间互动，同时也创造更多我们可以探索的新世界。

实现这一未来并不容易，它要求我们所有人深思熟虑，开发始终以人为本的技术。

但如果我们做得好，由空间智能驱动的计算机和机器人不仅会成为有用的工具，还会成为值得信赖的伙伴，在尊重个人尊严的同时，提高我们的生产力、增强我们的人性，提升我们的集体繁荣。

在所有未来中我最兴奋的，是一个AI变得更有感知、有洞察和空间意识，并与我们一道追求创造更好的世界的方法。

（全文完）

视频回放：
https://www.ted.com/talks/fei_fei_li_with_spatial_intelligence_ai_will_understand_the_real_world/transcript

参考链接：
[1]https://x.com/drfeifei/status/1790811274684584257

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看