Bendi新闻
>
向完全自主性更进一步,清华、港大全新跨任务自我进化策略让智能体学会「以经验为鉴」

向完全自主性更进一步,清华、港大全新跨任务自我进化策略让智能体学会「以经验为鉴」

9月前
机器之心专栏
机器之心编辑部

「以史为鉴,可以知兴替。」 人类的进步史,可以看作是一个不断吸取过去经验、不断推进能力边界的自我演化过程。在这个过程中,我们吸取过去失败的教训以纠正错误,借鉴成功的经验以提升效率和效果。这种自我进化的过程在我们的生活中无所不在:从如何总结经验以更好地解决工作中的问题,到如何利用规律更精确地预测天气,我们都在不断地从过去的经验中学习和进化。

成功从过去的经验中提取知识并将其应用于未来的挑战,这是人类进化之路上重要的里程碑。那么在人工智能时代,AI 智能体是否也可以做到同样的事情呢?

近年来,GPT 和 LLaMA 等语言模型展示了他们在解决复杂任务时的惊人能力。然而,他们尽管可以利用工具解决具体任务,但在本质上缺乏对过去成功和失败经历的洞见与汲取。这就像一个只会完成特定任务的机器人,虽然在完成当下任务上表现出色,但面对新的挑战时,却无法调用过去的经验来提供帮助。

针对这一难题,近期来自清华大学、香港大学、人民大学以及面壁智能的联合团队提出了一种全新的智能体自我演化策略:探索 - 固化 - 利用(Investigate-Consolidate-Exploit,ICE)。它旨在通过跨任务的自我进化来提升 AI 智能体的适应性和灵活性。其不仅能提升智能体处理新任务时的效率和效果,还能显著降低对智能体基座模型能力的需求。

这个策略的出现,无疑为智能体的自我进化开启了全新的篇章,也意味着我们离实现智能体的完全自主性又迈进了一步。

  • 论文标题:Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
  • 论文链接:https://arxiv.org/abs/2401.13996

智能体任务间经验迁移以实现自我进化概览图

智能体自我进化的两个方面:规划与执行

当下大部分复杂智能体都可以分成任务规划(Planning)与任务执行(Execution)两大方面。在任务规划上,智能体通过推理将用户需求细化并制定完成目标的详细策略;而在任务执行上,智能体通过工具调用实现与环境的交互,从而完成相应子目标。

为了更好地促进以往经验的重复利用,作者首先将这两方面的进化策略解耦。他们以 XAgent 智能体架构中的树状任务规划结构以及 ReACT 链式工具执行为例,分别介绍了 ICE 策略的具体实现。

智能体任务规划的 ICE 自我演化策略

对于任务规划,自我进化依照 ICE 被分为以下三个阶段:

  • 在探索阶段,智能体记录下整个树状任务规划结构,并同时动态检测各个子目标的执行状态;
  • 在固化阶段,智能体首先剔除所有失败的目标结点,之后对于每个成功完成的目标,智能体将以该目标为子树的所有叶子结点依次排开形成一条规划链(Workflow)
  • 在利用阶段,这些规划链将被作为新任务目标分解细化的参考依据,以利用过往的这些成功经验。

智能体任务执行的 ICE 自我演化策略

任务执行的自我演化策略依然分为 ICE 三个阶段,其中:

  • 在探索阶段,智能体动态记录每个目标执行的工具调用链,并对工具调用中出现的可能问题进行简单的检测归类;
  • 在固化阶段,工具调用链将被转化为类似自动机的流水线(Pipeline)结构,工具调用顺序与调用之间的转移关系将被固定,同时还会去掉重复调用,增加分支逻辑等等让自动机自动化执行流程更加鲁棒;
  • 在利用阶段,对于相似的目标,智能体将直接自动化执行流水线,从而提升任务完成效率。

XAgent 框架下的自我进化实验

作者在 XAgent 框架中对提出的 ICE 自我演化策略进行了测试,并总结了以下四点发现:

  • ICE 策略能够显著降低模型的调用次数,从而提升效率,减少开销。
  • 存储的经验在 ICE 策略下有着较高的复用率,这证明了 ICE 的有效性。
  • ICE 策略能够提升子任务完成率同时减少规划返修的次数。
  • 通过以往经验的加持,任务执行对模型能力的要求显著下降。具体来看,使用 GPT-3.5 搭配上之前的任务规划与执行经验,效果可以直接媲美 GPT-4。

在探索 - 固化进行经验存储后,测试集任务在不同智能体 ICE 策略下的表现

同时,作者还进行了额外的消融实验:在存储经验逐渐增加的情况下,智能体的表现是否越来越好?答案是肯定的。从零经验,半经验,到满经验,基座模型的调用次数逐渐减少,而子任务完成度逐渐提升,同时复用率也有升高。这表明更多的过往经验能够更好地促进智能体执行,实现规模效应。

在不同经验存储量下,测试集任务表现的消融实验结果统计

结语

畅想一下,在人人都能够部署智能体的世界中,成功经验的数量会随着智能体个体任务执行不断累积,而用户也可以将这些经验在云端中、社区里进行分享。这些经验将促使智能体不断汲取能力,自我进化,逐渐达到完全自主。我们向这样的时代又迈进了一步。


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

来源:机器之心

相关新闻

重塑3D生成核心理论:VAST、港大、清华用「零」训练数据生成了3D模型打通智能体「自我进化」全流程!复旦推出通用智能体平台AgentGym研究完荣耀的新机和系统,我怀疑他们想做“完全体华为”。AI投资高昂,中小银行如何策略性“以小搏大”?AI 投资高昂,中小银行如何策略性“以小搏大”?浙大等团队提出全新「自我对比」策略,有效提高大模型的反思效果「专业智能体指导」让小模型学会数学推理!微调Mistral-7B实现86.81%准确率从“百模”到“千体”:大模型智能体的竞争格局、商业模式和技术挑战华为卷爆智能「保温杯」,医用不锈钢,智能感温、提醒喝水、监测......港大发布XRec:首个让推荐系统「会说话」的智能大模型以梦为马,不负韶华,“钢琴王子”向音乐梦进发,《相约今宵》墨尔本站,倾情献唱!华为、苹果发布会「贴脸开大」,谁遥遥领先?吴清首度公开亮相!我到任这个岗位还没有“满月”,边学边干、以学为主以梦为马,不负韶华!“钢琴王子”向音乐梦进发,展现海外华人的豪迈之情!可「自主进化」的Agent?首个端到端智能体符号化训练框架开源了乔布斯看了得哭!与小米、华为的AI 大模型应用打擂台,苹果盖不住的“安卓味儿”都上了热搜曝苹果国行 AI 与百度、阿里、百川接触/华为盘古大模型 5.0 发布/OpenAI CTO 称 GPT-4「智商」相当于高中生苹果深夜重磅发布:整合GPT-4o、Siri全面进化;华为否认曾对柔宇科技有投资计划;小米辟谣“买SU7补贴2万”丨邦早报吵翻天!全网群嘲澳洲大学“充多了”!2025QS世界大学排名公开!墨大、悉大力压清华,世界TOP20?网友:表情包来了...华为下场卷爆「保温杯」,316医用不锈钢,智能感温、提醒喝水、监测......“北大、清华.....”一次集齐31枚名校百年纪念邮票,中国邮政限量发行,祝您金榜题名!纪念碑谷式错觉图像都被「看穿」,港大、TikTok的Depth Anything火了手机销量“罗生门”:华为、荣耀、vivo,都是第一华为“乾崑”智能汽车解决方案来了!一口气连发十款新品,年底目标上车50万辆...
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。