Bendi新闻
>
Open AI 八年前的设想被谷歌突破啦!DeepMind官宣SIMA,动动嘴就能完成复杂游戏任务

Open AI 八年前的设想被谷歌突破啦!DeepMind官宣SIMA,动动嘴就能完成复杂游戏任务

7月前


MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。
转载自 | 夕小瑶科技说
作者 | 智商掉了一地
八年前,OpenAI 提出了一个前卫的设想:创建一个能够能在复杂环境中执行任务的 AI,让 AI 智能体能够像人类一样使用计算机。

就在昨天(3月13日),Google 的 DeepMind 团队宣布了他们的最新研究成果,他们的全能 AI 智能体 SIMA(Simulation-to-Anything)已经将这一设想变为现实。这是一个可扩展、可指导的多世界智能体,能够在多样化的 3D 虚拟环境中执行多种任务。

它能够遵循自然语言指令,在各种视频游戏设置中执行各种复杂任务,不需要任何 API 和其他信息输入,只靠观察游戏画面和你的指令即可执行任务,并且还能将某个游戏中习得的技能带到新游戏中应用和继续学习!
众所周知,视频游戏是 AI 系统的重要试验场。DeepMind 团队的这项新研究不仅旨在让 AI 学会玩游戏,更重要的是将抽象语言转化为实际行动,让智能体学会在多种游戏环境中遵循指令。视频游戏作为一个沙盒,提供了一种安全、可访问的测试方法,这可能会解锁更多用于各种环境的实用 AI 智能体。
如果能在这一研究领域中,攻克将抽象的语言命令转化为具体的、可执行的物理动作的难题,这对于推动 AI 技术的边界,尤其是在智能机器人和交互式 AI 系统的开发上,具有深远的意义。
与 OpenAI 在 2016 年推出的 Universe 相比,SIMA 更侧重于研究多智能体系统的行为和动态。它提供了一个灵活且可定制的平台,让研究人员能够深入探索多智能体系统的各个方面。SIMA 的这些能力展示了利用语言驱动的 AI 智能体在多种 3D 虚拟环境中实现复杂交互和任务执行的潜力,为开发更通用、更有帮助的 AI 系统开辟了可能性。
SIMA 技术报告:
https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/sima-generalist-ai-agent-for-3d-virtual-environments/Scaling%20Instructable%20Agents%20Across%20Many%20Simulated%20Worlds.pdf

Deepmind:SIMA

以往的方法通常是为特定任务设计特定的模型,这限制了其在其他任务上的适用性。因此,DeepMind 团队提出了开发通用 AI 智能体的理念,使其能够在不同类型的环境中执行各种任务。
他们设计的 SIMA 能够遵循自然语言指令,在各种视频游戏设置中执行各种复杂任务。SIMA 包括预训练的视觉模型以及一个具备内存的主模型,后者能够输出键盘和鼠标动作。
▲SIMA 概述
SIMA 的核心挑战在于如何在多个模拟 3D 环境中实现语言与具身行为之间的连接,即必须克服如何将语言理解和物理行动有效结合的难题,确保两者之间的无缝对接与协同工作。这种连接不仅是构建未来通用具身人工智能的关键,而且与谷歌目前正在研究的具身智能项目 Robotic Transformer2(RT2)的目标紧密相关。
SIMA 的设计灵感源自生物学和心理学。与以往的程序不同,SIMA 并不是针对特定任务进行优化的,而是通过学习和适应来解决各种任务。这种方法使其能够适应不同的环境和任务,并在执行中不断改进和优化自己的表现。
▲SIMA 智能体架构
SIMA 在 600 个基本技能上进行了评估,涵盖寻路、物体互动和菜单使用,具有多种特点和功能,在多种情况下都表现出色。其中包括自适应性、通用性、灵活性和高效性。这些特点使得 SIMA 能够在各种不同的 3D 虚拟环境中执行任务,根据语言指令的操纵,从简单的导航到复杂的问题解决,都能够胜任。

SIMA 特点

  1. 玩多个游戏:SIMA 不只是在一个游戏里能找到东西、走路或建造物品,它能够跨越多种不同的游戏平台,掌握并应用相应的技能。
  2. 理解自然语言:可以用日常交流的语言告诉 SIMA 要做什么,它能够准确理解并执行任务,无需任何复杂的编程语句,就像你告诉朋友给你帮忙一样。
  3. 无需特殊接口:SIMA 无需深入了解游戏的内部机制,它通过观察游戏画面和听取语音指令来操作,仿佛是一个真人玩家那样使用键盘和鼠标。
  4. 跨游戏学习泛化:SIMA 通过在众多游戏和研究环境中的训练,展现了其卓越的跨游戏学习与泛化能力。SIMA 在很多游戏中学习后,甚至能在一些它没玩过的新游戏里表现得很不错,因为它能从一个游戏学到的技能应用到另一个游戏中。
  5. 高级策略规划:这也是它的局限所在,目前 SIMA 主要处理能在大约 10 秒内完成的短时间简单任务,但其未来的目标是能够处理更为复杂的任务,这些任务需要复杂的策略规划和多个子任务的协同完成,比如“搜集资源并建造一个营地”。
  6. 语言驱动的性能:SIMA 的表现依赖于语言训练和指令。控制实验显示,在缺乏语言训练或指令的情况下,SIMA 虽能展现出基本行为,但缺乏目的性,这证明了语言对于其功能发挥的关键作用。
DeepMind 团队还讨论了 SIMA 在各种领域的应用前景,包括虚拟现实、游戏开发、智能助手等。他们表示,SIMA 的结果展示了开发新一代通用、语言驱动 AI 智能体的潜力。而它的发布标志着对智能体技术的一次重大进步,为未来智能系统的发展开辟了新的可能性。
游戏智能体这个概念,让小编也想起了 OpenAI 在第一代 GPT 出现在大众视野前开发的一个平台——Universe,接下来,我们就简单回顾一下。

OpenAI:Universe

OpenAI Universe 是 OpenAI 团队早期鲜为人知的作品,是他们在 2016 年开发的一个开放源码平台。该平台得到了包括微软、英伟达在内的多家知名公司的支持与参与,用来训练和评估 AI 智能体在现实世界任务中的性能。
然而,随着 OpenAI 的 GPT 系列模型的问世,其研究重心转向了自然语言处理领域。在成功推出 Universe 平台的首个版本后,OpenAI 似乎减少了在该平台上进一步开发的力度,转而专注于语言模型的研究与开发,以及相关技术的创新。
尽管如此,Universe 在当时对于推动 AI 在复杂任务中的应用和发展仍具有重要意义。这一版的 Universe 能够模拟各种游戏和应用程序,并允许用户训练和测试他们的智能体在这些环境里的表现。
▲人类演示者玩的 Universe 游戏环境样本
Universe 的设计目标是让 AI 智能体能够像人类一样使用计算机,通过观察屏幕像素并操作虚拟键盘和鼠标来完成任务。使其灵活地应用其过去的经验,并快速掌握陌生而困难的环境,从而实现更广泛的智能和适用性。它通过模拟计算机上运行的各种程序和游戏,为智能体提供了丰富多样的环境。
其中各种各样的仿真环境,包括 Flash 游戏、浏览器任务等,智能体可以通过观察屏幕像素和模拟键盘和鼠标操作与这些环境进行交互。
通过 Universe 平台,研究者可以用人类的表现作为算法性能的基准,并记录人类在这些环境中的表现,以供算法评估之用。使得研究人员可以在各种仿真环境中测试他们的算法,并比较它们的性能。

总结

当然,上述这两个产品都不会局限在游戏和虚拟世界。在游戏中的测试,也是为了更好地在现实世界中迈向通用智能时代。SIMA 通过在各种模拟环境中进行研究,为未来的现实中的“具身”机器人应用提供了有益的经验。
总的来说,OpenAI 先前推出的 Universe 更专注于创建智能体与真实世界交互的环境,更趋于一个评估的平台,而 SIMA 更侧重于研究多智能体系统的行为和动态,是为了探索 AI 智能体的未来应用而诞生。
▲Robotic Transformer2 实验图
相信 DeepMind 的 SIMA 智能体也是 AI 领域的一次大进步,通过其通用性和灵活性,能够在多样化的 3D 虚拟环境中遵循语言指令执行各种任务。期待未来的研究能够通过深入探索并克服这些挑战,为 AI 领域带来一场革命,使得机器不仅能理解人类的指令,还能以自然和适应性强的方式在复杂环境中执行任务,从而开启智能技术与人类生活更紧密融合的新篇章,推动智能系统在各个领域的应用,为未来的 AI 领域技术在现实世界中的发展带来新契机~

参考资料

 [1]https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/?utm_source=twitter&utm_medium=social&utm_campaign=SIMA/
 [2]https://openai.com/research/universe
 [3]https://twitter.com/GoogleDeepMind/status/1767918524641554899

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注:姓名-学校/公司-研究方向
(如:小张-哈工大-对话系统)
即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。


微信扫码关注该文公众号作者

来源:机器学习算法与自然语言处理

相关新闻

两小时“吼出”121次AI,谷歌背后埋伏着Open AI的幽灵OpenAI创始人:目前的首要任务是推出新模型;三星发布搭载谷歌AI工具的Galaxy S24智能手机丨AIGC日报新学年的“开放日”Open House就要来啦!除了看看学校的硬件设施外,我们还可以从中获得什么有效信息?NASA的“Psyche”探测任务启动了未来电动发动机硅谷恐慌:Open AI发布全新视频模型Sora!现实,不存在了股价大跳水!蔚来新品牌“乐道”,摊上了不可能完成的任务只需将感知推理能力拆分,2B大模型就能战胜20B!国产新框架高效处理视觉任务全国首个!广东GDP突破13万亿元!2024年12大任务!省政府工作报告里的广州“大事”AI学会隐藏思维暗中推理!不依赖人类经验解决复杂任务,更黑箱了Open AI的神秘项目“草莓”,到底是什么?首赴南海岛礁!圆满完成任务探测任务圆满完成!今日神图 | 给你100万,一天之内能完成哪个任务? ​汪小菲的台湾任务!2024创业者的核心任务!交朋友AI Agent的任务,是让我们每天最多工作四个小时为了完成女儿的“任务”,我竟然发现一个宝藏学科神器周末去哪儿|发现波士顿:SoWa Open Market回归啦!工作完成就了事,任务式思维害死人AAAI 2024 Oral|打破边界!利用CLIP的多任务多模态视频行为识别方法顶刊TPAMI 2024!多模态图像修复与融合新突破!DeepM2CDL:多种任务实现SOTA性能男子发现蚊子身上带有神秘编号“38”!它究竟是执行监视任务的昆虫,还是特工?H800竟然能白嫖了!还能一键部署Open Sora,潞晨云YYDS!总统的特工在LA执行任务, 没想到被抢劫了!?
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。