Bendi新闻
>
GPT-4推理能力暴涨32%,谷歌新型思维链效果超CoT,计算成本可降至1/40

GPT-4推理能力暴涨32%,谷歌新型思维链效果超CoT,计算成本可降至1/40

4月前
明敏 发自 凹非寺
量子位 | 公众号 QbitAI

GPT-4推理能力还能暴涨32%?

谷歌&南加大推出最新研究“自我发现”(Self-Discover),重新定义了大模型推理范式。

与已成行业标准的思维链(CoT)相比,新方法不仅让模型在面对复杂任务时表现更佳,还把同等效果下的推理成本压缩至1/40

核心策略其实很简单:千人千面

让大模型针对不同问题,提出特定的推理结构。完全不同于以往CoT等方法“千篇一律”的方式。

这种灵活应变的方式,更加贴近于人类的思考模式,也向着期待中的大模型思维方式更进一步。

大模型“千人千面”

一直以来大模型在处理复杂问题时都容易遇到困难,所以一些模拟人类思维能力的提示方法被提出。

最出名的就是思维链(CoT),它通过引导大模型“一步一步来”,让大模型能像人类一样逐步思考解决问题,最终带来显著性能提升。

还有分解法(decomposition-based prompting),它是让大模型将复杂问题拆解成一个个更小的子问题。

这类方法本身都能充当一个原子推理模块,对给定任务的处理过程做了先验假设,也就是让不同问题都套到同一个流程里解决。

但是不同方法其实都有更擅长和不擅长的领域。比如在解决涉及符号操作等问题时,分解法要优于CoT。

所以研究人员提出,对于每个任务,都应该有独特的内在推理过程,同时还不提高模型的推理成本。

自发现步骤架构由此而来。

它主要分为两个阶段。

第一阶段指导大语言模型从原子推理模块中进行挑选、调整、整合,搭建出一个可以解决特定任务的推理结构。

比如“创造思维”可能在创作故事任务上有帮助、“反思思考”可能对搜索科学问题有帮助等。大模型需要根据任务进行挑选,然后进一步调整并完成整合。

第二阶段输入实例,让大模型使用第一阶段发现的推理结构来生成答案。

通过在GPT-4和PaLM 2上进行实验,在BBH、T4D、MATH几个基准中,使用自发现步骤架构后,模型的性能都有明显提升。

在更细分的测试中,自发现步骤在需要世界知识的任务中表现最好,在算法、自然语言理解上超过CoT。

在处理问题的推理调用方面,自发现步骤需要的调用次数明显少于CoT+Self Consistency,而且准确性更高。

如果想要达到和自发现步骤同样的准确率,需要的推理计算量则是其40倍。

研究团队

本项研究由南加州大学和谷歌DeepMind联合推出。

第一作者是Pei Zhou,他现在正在南加州大学的NLP小组攻读博士。

两位通讯作者分别是Huaixiu Zheng和Swaroop Mishra。

Huaixiu Zheng此前参与过谷歌LaMDA工作,这是谷歌一个专攻对话的大模型。

Swaroop Mishra是谷歌DeepMind的研究科学家,它参与的Self-Instruct框架在GitHub上星标3.5k、被引用次数超过600,并被ACL 2023接收。

此外Quoc Le、Denny Zhou等大模型提示微调、推理方向的老面孔也参与其中。

虽然官方暂未开源,但已经有迫不及待的开发者根据论文自行复现了代码。

发现不仅适用于GPT-4和谷歌PaLM,连Mistral家泄露版模型Miqu上都能很好发挥作用。

论文地址:
https://arxiv.org/abs/2402.03620

—  —

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

来源:量子位

相关新闻

马斯克官宣 Grok-1.5!超 GPT-4 16 倍上下文,推理能力超 DBRX,网友:赢在敢说!苹果iOS 18将搭载生成式AI;谷歌Bard最新排名超GPT-4;百川发超千亿参数大模型Baichuan 3丨AIGC大事日报马斯克官宣Grok-1.5!超GPT-4 16倍上下文,推理能力超DBRX,网友:赢在敢说!中文创意写作能力超GPT-4,「最会写」的中文大模型Weaver来了GLM-4国产大模型上线 称整体性能逼近GPT-4 降低推理成本LLM排行榜更新!谷歌Bard超过GPT-4,中国玩家未进前十独居的人做好这件事,能减少对大脑健康的伤害;GPT-4选股回报超40%?|本周论文推荐碾压华尔街,GPT-4 选股收益超 40%AI届的拼多多来了!能力媲美GPT-4,价格为其1%OpenAI计划下周一公布新版GPT-4;生成式AI岗位需求暴涨超300%|AIGC周观察第四十二期谷歌再雪前耻,新Bard逆袭GPT-4冲上LLM排行榜第二!Jeff Dean高呼我们回来了谷歌Gemini 1.5技术报告:轻松证明奥数题,Flash版比GPT-4 Turbo快5倍谷歌深夜爆最强复仇杀器,超大杯Gemini Ultra硬刚GPT-4!19.99美元包月,84页技术报告更新GPT-4击败华尔街?最新研究:选股回报超40%谷歌裁员3万人大逃杀,数百员工已被AI淘汰!IMF主席断言全球40%岗位遭冲击,1/5码农悬了谷歌AI通过图灵测试,大模型医生来了?GPT-4竟诊断出难倒17个医生的怪病成功率达53%,研究显示GPT-4可自主利用“零日”漏洞攻破网站丨AIGC日报OpenAI公开破解GPT-4思维的新方法,Ilya也参与了!山姆-奥特曼怒喷谷歌,GPT-4o抢了Gemini风头GPT-4o成为全领域SOTA!基准测试远超Gemini和Claude,多模态功能远超GPT-4国产大模型评测超GPT-4!李开复:十年内不会套现神秘大模型一夜“征服”所有人,超GPT-4却无人认领?网友:OpenAI 要有大麻烦了华为重夺中国大陆智能手机市场第一/支付宝推出 AI 办事小助手/Altman 称 GPT-5 性能远超 GPT-4华为重夺中国大陆智能手机市场第一/Altman 称 GPT-5 性能远超 GPT-4/OPPO 回应暂停 XR 探索一事
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。