Bendi新闻
>
UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导

9月前



  新智元报道  

编辑:润
【新智元导读】来自UCLA的华人团队提出一种全新的LLM自我对弈系统,能够让LLM自我合成数据,自我微调提升性能,甚至超过了用GPT-4作为专家模型指导的效果。

合成数据已经成为了大语言模型进化之路上最重要的一块基石了。

在去年底,有网友扒出前OpenAI首席科学家Ilya曾经在很多场合表示过,LLM的发展不存在数据瓶颈,合成数据可以解决大部分的问题。

英伟达高级科学家Jim Fan在看了最近的一批论文后也认为,使用合成数据,再加上传统用于游戏和图像生成的技术思路,可以让LLM完成大幅度的自我进化。

而正式提出这个方法的论文,是由来自UCLA的华人团队。

论文地址:https://arxiv.org/abs/2401.01335v1

他们通过自我对弈机制(SPIN)生成合成数据,再通过自我微调的方法,不使用新的数据集,让性能较弱的LLM在Open LLM Leaderboard Benchmark上将平均分从58.14提升至63.16。

研究人员提出了一种名为SPIN的自我微调的方法,通过自我对弈的方式——LLM与其前一轮迭代版本进行对抗,从而逐步提升语言模型的性能。

这样就无需额外的人类标注数据或更高级语言模型的反馈,也能完成模型的自我进化。

主模型和对手模型的参数完全一致。用两个不同的版本进行自我对弈。

对弈过程用公式可以概括为:

自我对弈的训练方式,总结起来思路大概是这样:

通过训练主模型来区分对手模型生成的响应和人类目标响应,对手模型是轮迭代获得的语言模型,目标是生成尽可能难以区分的响应。

假设第t轮迭代得到的语言模型参数为θt,则在第t+1轮迭代中,使用θt作为对手玩家,针对监督微调数据集中每个prompt x,使用θt生成响应y'。

然后优化新语言模型参数θt+1,使其可以区分y'和监督微调数据集中人类响应y。如此可以形成一个渐进的过程,逐步逼近目标响应分布。

这里,主模型的损失函数采用对数损失,考虑y和y'的函数值差。

对手模型加入KL散度正则化,防止模型参数偏离太多。

具体的对抗博弈训练目标如公式4.7所示。从理论分析可以看出,当语言模型的响应分布等于目标响应分布时,优化过程收敛。

如果使用对弈之后生成的合成数据进行训练,再使用SPIN进行自我微调,能有效提高LLM的性能。

但之后在初始的微调数据上再次简单地微调却又会导致性能下降。

而SPIN仅需要初始模型本身和现有的微调数据集,就能使得LLM通过SPIN获得自我提升。

特别是,SPIN甚至超越了通过DPO使用额外的GPT-4偏好数据训练的模型。

而且实验还表明,迭代训练比更多epoch的训练能更加有效地提升模型性能。

延长单次迭代的训练持续时间不会降低SPIN的性能,但会达到极限。

迭代次数越多,SPIN的效果的就越明显。

网友在看完这篇论文之后感叹:

合成数据将主宰大语言模型的发展,对于大语言模型的研究者来说将会是非常好的消息!

自我对弈让LLM能不断提高

具体来说,研究人员开发的SPIN系统,是由两个相互影响的模型相互促进的系统。

表示的前一次迭代t的LLM,研究人员使用它来生成对人工注释的SFT数据集中的提示x的响应y。

接下来的目标是找到一个新的LLM,能够区分生成的响应y和人类生成的响应y'。

这个过程可以看作是一个两人游戏:

主要玩家或新的LLM试图辨别对手玩家的响应和人类生成的响应,而对手或旧的LLM生成响应与人工注释的SFT数据集中的数据尽可能相似。

通过对旧的进行微调而获得的新LLM更喜欢的响应,从而产生与致的分布

在下一次迭代中,新获得的LLM为响应生成的对手,自我对弈过程的目标是LLM最终收敛到,使得最强的LLM不再能够区分其先前生成的响应版本和人类生成的版本。

如何使用SPIN提升模型性能

研究人员设计了个两人游戏,其中主要模型的目标是区分LLM生成的响应和人类生成的响应。与此同时,对手的作用是产生与人类的反应无法区分的反应。研究人员的方法的核心是训练主要模型。

首先说明如何训练主要模型来区分LLM的回复和人类的回复。

研究人员方法的核心是自我博弈机制,其中主玩家和对手都是相同的LLM,但来自不同的迭代。

更具体地说,对手是上一次迭代中的旧LLM,而主玩家是当前迭代中要学习的新LLM。在迭代t+1时包括以下两个步骤:(1)训练主模型,(2)更新对手模型。

训练主模型

首先,研究人员将说明如何训练主玩家区分LLM反应和人类反应。受积分概率度量(IPM)的启发,研究人员制定了目标函数:

更新对手模型

对手模型的目标是找到更好的LLM,使其产生的响应与主模型的p数据无异。

实验

SPIN有效提升基准性能

研究人员使用HuggingFace Open LLM Leaderboard作为广泛的评估来证明 SPIN的有效性。

在下图中,研究人员将经过0到3次迭代后通过SPIN微调的模型与基本模型zephyr-7b-sft-full的性能进行了比较。

研究人员可以观察到,SPIN通过进一步利用SFT数据集,在提高模型性能方面表现出了显着的效果,而基础模型已经在该数据集上进行了充分的微调。

在第0次迭代中,模型响应是从zephyr-7b-sft-full生成的,研究人员观察到平均得分总体提高了2.66%。

在TruthfulQA和GSM8k基准测试中,这一改进尤其显着,分别提高了超过5%和10%。

在迭代1中,研究人员采用迭代0中的LLM模型来生成SPIN的新响应,遵循算法1中概述的过程。

此迭代平均产生1.32%的进一步增强,在Arc Challenge和TruthfulQA基准测试中尤其显着。

随后的迭代延续了各种任务增量改进的趋势。同时,迭代t+1时的改进自然更小

zephyr-7b-beta是从zephyr-7b-sft-full衍生出来的模型,使用DPO在大约62k个偏好数据上训练而成。

研究人员注意到,DPO需要人工输入或高级语言模型反馈来确定偏好,因此数据生成是一个相当昂贵的过程。

相比之下,研究人员的SPIN只需要初始模型本身就可以。

此外,与需要新数据源的DPO不同,研究人员的方法完全利用现有的SFT数据集。

下图显示了SPIN在迭代0和1(采用50k SFT数据)与DPO训练的性能比较。

研究人员可以观察到,虽然DPO利用了更多新来源的数据,但基于现有SFT数据的SPIN从迭代1开始,SPIN甚至超过了DPO的性能、SPIN在排行榜基准测试中的表现甚至超过了DPO。

参考资料:
https://arxiv.org/abs/2401.01335v1


微信扫码关注该文公众号作者

来源:新智元

相关新闻

大语言模型何时需要检索?UCLA提出全新自监督选择性检索策略国自然十年评审专家指导修改本子,中标率提升40%!连麦答疑!一个月带你手撕LLM理论与实践,并获得面试or学术指导!捷报:UCLA+7、卡耐基梅隆大学+1、弗吉尼亚大学、UCSD+16、罗切斯特大学+4(有奖学金)、哈沃福特学院录取到!申诉超时被驳回!UCLA体操运动员归还巴黎奥运奖牌融合多模态表征技术,科学家揭示锂金属电池界面新机制,指导高性能电池体系开发第16张Lazard Offer!UCLA本科学员斩获Lazard Los Angeles 2025年暑期实习Offer第229张Citi Offer!UCLA本科学员斩获Citi San Francisco 2025年暑期实习Offer加州|可怕!UCLA女生在宿舍开窗睡觉,竟被无家可归者强奸,学生恐慌……凌晨熟睡!UCLA女学生半夜在宿舍内竟遭性侵,引发校园恐慌!吓死!UCLA女生半夜床上被惊醒!流浪汉闯入宿舍强奸可怕!UCLA女学生半夜宿舍内遭流浪汉性侵!嫌疑人已被捕!震惊!UCLA女学生半夜宿舍内遭性侵,引发校园恐慌!可怕!UCLA女学生半夜宿舍内遭流浪汉性侵!突发!UCLA女学生半夜在宿舍遭性侵,引发校园恐慌!可怕!UCLA女生在宿舍开窗睡觉,竟被无家可归者强奸,学生恐慌……重磅!美国将推新签证+快速绿卡通道,每年配额高达十万!UCLA学生在宿舍睡觉遭性侵中科院院士亲自指导!学费全免!选拔全中国最强创新苗子,这个夏天最硬核的挑战营来了13名哈佛毕业生被剥夺学位,毕业典礼大骚乱!UCLA再起冲突,大批防暴警察进入校园……突发!UCLA再次爆发紧张局势,警方宣布非法集会,大批防爆警察进入校园美校「抗议事件」风波延续!UCLA教职员工联名请愿校长辞职,美国会议提案再添新争议......混乱升级!UCLA超40人被捕,所有课程改为远程!史无前例!UCLA夜间暴动,洛杉矶警方突袭!逮捕超过130人,拜登首次发声...暴力之夜!UCLA昨晚出现互殴,多人受伤,学校紧急停课
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。