Bendi新闻
>
超级智能体生命力觉醒!可自我更新的AI来了,妈妈再也不用担心数据瓶颈难题

超级智能体生命力觉醒!可自我更新的AI来了,妈妈再也不用担心数据瓶颈难题

7月前
衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

哭死啊,全球狂炼大模型,一互联网的数据不够用,根本不够用。

训练模型搞得跟《饥饿游戏》似的,全球AI研究者,都在苦恼怎么才能喂饱这群数据大胃王。

尤其在多模态任务中,这一问题尤为突出。

一筹莫展之际,来自人大系的初创团队,用自家的新模型,率先在国内把“模型生成数据自己喂自己”变成了现实。

而且还是理解侧和生成侧双管齐下,两都能生成高质量、多模态的新数据,对模型本身进行数据反哺。

模型是啥?

中关村论坛上刚刚露面的多模态大模型Awaker 1.0

团队是谁?

智子引擎。由人大高瓴人工智能学院博士生高一钊创立,高瓴人工智能学院卢志武教授担任顾问。公司成立时还是2021年,就早早打入多模态这条“无人区”赛道。

MOE架构,解决多模态多任务训练冲突问题

这不是智子引擎第一次发布模型。

去年3月8日,潜心研发两年的团队对外发布了自研的第一个多模态模型,百亿级别参数的ChatImg序列模型,并基于此推出世界首个公开评测多模态对话应用ChatImg(元乘象)

后来,ChatImg不断迭代,新模型Awaker的研发也在并行推进。后者还继承了前代模型的基础能力。

相较于前代的ChatImg序列模型,Awaker 1.0采用了MoE模型架构

要说原因嘛,是想要解决解决多模态多任务训练存在严重冲突的问题。

采用MoE模型架构,可以更好地学习多模态通用能力以及各个任务所需的独特能力,从而让整个Awaker 1.0的能力在多个任务上有进一步提升。

数据胜千言:

鉴于主流多模态评测榜单存在评测数据泄露问题,智子团队从严构建了自有评测集,大部分测试图片来自个人手机相册。

表格显示,团队让Awaker 1.0和国内外最先进的3个多模态大模型进行了评测。

多提一嘴,由于GPT-4V和Intern-VL并不直接支持检测任务,它们的检测结果是通过要求模型使用语言描述物体方位得到的。

可以看到,在视觉问答和业务应用任务上,Awaker 1.0的基座模型超过了GPT-4V、Qwen-VL-Max和Intern-VL。

在描述、推理和检测任务上,Awaker 1.0的基座模型达到了次好效果。

最后来看平均分,Awaker 1.0处于几者中的最高值。

因此,上述结果也印证了多任务多模态模型采用MoE架构的有效性。

数据集评测结果有了,真实效果还需进一步上手体验。

这里主要问了它和对比大模型一些关于中文OCR(图片文字识别)和计数问题、详细描述任务等问题。

这个主要考计数

Awaker 1.0能正确地给出答案,而其它三个模型均回答错误。

这个主要考中文OCR

正确回答的选手是Qwen-VL-Max和Awaker 1.0。

最后这题考图片内容理解

GPT-4V和Awaker 1.0不但能够详细地描述图片的内容,而且能够准确地识别出图片中的细节,如图中展示的可口可乐。

不得不提一嘴的是,Awaker 1.0继承了一些智子团队此前广为关注的研究成果。

说的就是你——Awaker 1.0的生成侧

Awaker 1.0的生成侧,是智子引擎自主研发的类Sora视频生成底座VDT(Video Diffusion Transformer)

VDT的学术论文早于OpenAI Sora的发布(去年5月),并已被顶会ICLR 2024接收。

VDT与众不同的创新之处,主要有两点。

一是在技术架构上采用Diffusion Transformer,在OpenAI之前就展现了Transformer在视频生成领域的巨大潜力。

它的优势在于其出色的时间依赖性捕获能力,能够生成时间上连贯的视频帧,包括模拟三维对象随时间的物理动态。

二是提出统一的时空掩码建模机制,使VDT能够处理多种视频生成任务。

VDT灵活的条件信息处理方式,如简单的token空间拼接,有效地统一了不同长度和模态的信息。

同时,通过与该工作提出的时空掩码建模机制结合,VDT成为了一个通用的视频扩散工具,在不修改模型结构的情况下可以应用于无条件生成、视频后续帧预测、插帧、图生视频、视频画面补全等多种视频生成任务。

据了解,智子引擎团队不仅探索了VDT对简单物理规律的模拟,发现它能模拟物理过程

还在超写实人像视频生成任务上进行了深度探索。

因为肉眼对人脸及人的动态变化非常敏感,所以这个任务对视频生成质量的要求非常高。不过,智子引擎已经突破超写实人像视频生成的大部分关键技术,比起Sora也没在怕的。

口说无凭。

这是智子引擎结合VDT和可控生成,对人像视频生成质量提升后的效果:

据悉,智子引擎还将继续优化人物可控的生成算法,并积极进行商业化探索。

生成源源不断的新交互数据

更值得关注的是,智子引擎团队强调:

Awaker 1.0是世界上首个能自主更新的多模态大模型

换句话说,Awaker 1.0是“活”的,它的参数可以实时持续地更新——这就导致Awaker 1.0区别于所有其它多模态大模型,

Awaker 1.0的自主更新机制,包含三大关键技术,分别是:

  • 数据主动生成

  • 模型反思评估

  • 模型连续更新

这三项技术,让Awaker 1.0具备自主学习、自动反思和自主更新的能力,可以在这个世界自由探索,甚至与人类互动。

基于此,Awaker 1.0在理解侧和生成侧都能生成源源不断的新交互数据。

怎么做到的?

在理解侧,Awaker 1.0与数字世界和现实世界进行交互。

在执行任务的过程中,Awaker 1.0将场景行为数据反哺给模型,以实现持续更新与训练。

在生成侧,Awaker 1.0可以进行高质量的多模态内容生成,为理解侧模型提供更多的训练数据。

在理解侧和生成侧的两个循环中,Awaker 1.0实际实现了将视觉理解与视觉生成进行融合。

要知道,Sora问世后,越来越多声音表示,要通往AGI,必须达成“理解和生成的大一统”。

以新知识注入为例,下面来看个具体跑通的例子。

Awaker 1.0能够不断在互联网上学习实时新闻信息,同时,它结合新学习到的新闻信息来回答各种复杂问题。

这和目前两种主流,即RAG和传统长上下文方式还不太一样,Awaker 1.0是真的把新知识“记忆”在自个儿模型的参数上

可以看到,连续3天的自我更新过程中,Awaker 1.0每天都能学习当天的新闻信息,并在描述中准确地说出对应信息。

而且虽然一直在学,Awaker 1.0倒没有顾此失彼,它并不会很快地遗忘学过的知识。

譬如,4月16日学进去的智界S7相关知识,在2天后仍然被Awaker 1.0记住或理解。

So,在这个数据如金的时代,别再哀叹“数据不够用”了。

面对数据瓶颈的团队们,一种可行、可用的新选择,不就被Awaker 1.0送来了?

具身智能“活”的大脑

话说回来,正是由于实现了视觉理解与视觉生成的融合,当遇到“多模态大模型适配具身智能”的问题,Awaker 1.0的骄傲已经显露无疑。

事情是这样的:

Awaker 1.0这类多模态大模型,其具有的视觉理解能力可以天然与具身智能的“眼睛”相结合。

而且主流声音也认为,“多模态大模型+具身智能”有可能大幅地提升具身智能的适应性和创造性,甚至是实现AGI的可行路径。

理由不外乎两点。

第一,人们期望具身智能拥有适应性,即智能体能够通过持续学习来适应不断变化的应用环境。

这样一来,具身智能既能在已知多模态任务上越做越好,也能快速适应未知的多模态任务。

第二,人们还期望具身智能具有真正的创造性,希望它通过对环境的自主探索,能够发现新的策略和解决方案,并探索AI的能力边界。

但是二者的适配,并不是简简单单把多模态大模型链接个身体,或直接给具身智能装个脑子那么简单。

就拿多模态大模型来说,至少有两个明显的问题摆在面前。

一是模型的迭代更新周期长,需要大量的人力投入;

二是模型的训练数据都源自已有的数据,模型不能持续获得大量的新知识。虽然通过RAG和扩长上下文窗口也可以注入持续出现的新知识,模型记不住,补救方式还会带来额外的问题。

总之,目前的多模态大模型在实际应用场景中不具备很强的适应性,更不具备创造性,导致在行业落地时总是出现各种各样的困难。

妙啊——还记得我们前面提到,Awaker 1.0不仅可以学新知识,还能记住新知识,并且这种学习是每天的、持续的、及时的。

从这张框架图可以看出,Awaker 1.0能够与各种智能设备结合,通过智能设备观察世界,产生动作意图,并自动构建指令控制智能设备完成各种动作。

在完成各种动作后,智能设备会自动产生各种反馈,Awaker 1.0能够从这些动作和反馈中获取有效的训练数据进行持续的自我更新,不断强化模型的各种能力。

这就相当于具身智能拥有一个活的大脑了。

谁看了不说一句how pay(狗头)

尤其重要的是,因为具备自主更新能力,Awaker 1.0不单单是可以和具身智能适配,它还适用于更广泛的行业场景,能够解决更复杂的实际任务。

例如,Awaker 1.0与各种智能设备结合,从而实现云边协同。

这时候,Awaker 1.0就是部署在云端的“大脑”,观察、指挥,控制各种边端智能设备执行各项任务。

而边端智能设备执行各项任务时获得的反馈,又会源源不断地传回给Awaker 1.0,让它持续地获得训练数据,不断进行自我更新。

这可不是纸上谈兵,Awaker 1.0与智能设备的云边协同的技术路线,已经应用在电网智能巡检、智慧城市等应用场景中,并取得了远好于传统小模型的识别效果。

多模态大模型能听、能看、能说,在语音识别、图像处理、自然语言理解等多个领域展现出了巨大的潜力和应用价值,几乎无所不能。

但它的烦恼很明显,如何不断吸收新知识、适应新变化?

可以说,修炼内功、提升武艺成为了多模态大模型面临的一个重要课题。

智子引擎Awaker 1.0的问世,为多模态大模型的自我超越提供了一把钥匙。

它好像会了那个吸星大法,通过自主更新机制,打破了数据短缺的瓶颈,为多模态大模型的持续学习和自我进化提供了可能;再就是利用云边协同技术,勇闯在具身智能等智能体设备的具体应用场景。

这或许是迈向AGI的一小步,但同时也是多模态大模型自我超越之旅的一个开始。

漫长而艰难的旅程,需要智子引擎这样的团队,向技术的高峰不断攀登。

—  —

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

来源:量子位

相关新闻

新澳洲八大来了!合并后的超级大学!新logo亮相!大批留学生秒入QS前100!终于找到了科研摆烂新方法!AI出手10分钟搞定科研难题!再也不emo了!全美最大的马里兰大灰狼室内水上乐园开业了!超级特价来袭!仅两期!重磅!新西兰父母团聚最新进展来了!“父母超级签证一定会推出,这是NZ政府的承诺!”对话林咏华:刚在“AI春晚”上开源了3.4T数据集的智源,是如何死磕大模型数据难题的1小时免费课!鹅厂AI资深架构师、风平智能联合创始人开讲了,攻破企业AI营销与运营两大难题硅谷生娃也拼高科技!超级婴儿来了,更聪明、更健康、更长寿萝卜快跑遭抵制:技术至上还是人文优先的难题又来了当下,我们遇到了前所未有的难题!你的超级知识助手来了!讯飞星火支持长文本长图文长语音,生产力直线UP争当“战略腹地”!中西部,超级机会来了哭了,这么多年终于睡到了超级舒服的枕头!直径1毫米,能提10公斤!“超级橡皮筋”来了从上海到上海,超级环线高铁来了!网友:就照着这条线旅游超级大放水真的来了!拖了整整70年,比三峡更重要的超级大基建,终于来了突发!461亿超级IPO来了,全球第一“超级选举年”来了!寻找“不确定”中的“确定”数学界AlphaGo来了!攻破奥数难题登Nature,接近人类金牌水平Ilya从OpenAI离职后成立新公司了!这一次剑指超级智能!日元崩了!超级"黑天鹅"来袭?OpenAI掌门人最新演讲内容要点:下一代AI模型更强大,不需担心超级智能【荐】AI智能解题的5合一超级积木 覆盖小学19个章节几何知识点 「无痛」学几何神器AI智能解题的5合一超级积木 覆盖小学19个章节几何知识点 「无痛」学几何神器
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。