Bendi新闻
>
24GB单卡全量微调Llama 3-8B,仅需添加一行代码

24GB单卡全量微调Llama 3-8B,仅需添加一行代码

7月前


ChatGPT问世以来,大型语言模型在各个领域引起了广泛兴趣,并催生了基于语言模型的应用,包括但不限于自动文本生成、信息检索、智能助理、聊天机器人以及智能教育系统等。这些应用的表现和效果往往取决于模型本身的对话能力、逻辑推理能力以及上下文理解能力等核心特征。在实际应用中,为了满足不同领域对模型能力的个性化需求,研究人员通常会基于预训练的大型语言模型进行微调,以适应特定任务的要求。

然而,微调具有一定规模的语言模型需要大量的计算资源,其中显存容量往往成为主要限制因素。主流的优化算法如Adam在训练过程中需要存储模型参数、梯度信息以及优化器状态。举例来说,当训练一个拥有70亿个参数的模型时,以上参数将占用超过120GB的显卡内存。然而,主流消费级显卡如RTX 3090/4090仅有24GB的显存,而AI训练专用显卡A100的显存也仅有80GB。因此,训练规模较大的模型不可避免地对计算资源提出了巨大需求,而且由于需要多块显卡并行训练,也带来了工程实现上的诸多挑战。

在本研究中,来自香港中文大学(深圳)的研究者通过将传统的块坐标下降算法与大模型优化结合,提出BAdam算法,将内存开销大幅降至原来的约六分之一,实现了在一张24GB显存的RTX 3090上全参数微调Llama 2-7b和Llama 3-8b模型。从优化角度来看,BAdam的损失函数收敛速率快于LoRA,且单次迭代所需时间约为LoRA的一半。从下游任务表现来看,由BAdam训练得到的Llama 2-7b, Llama 3-8b模型,在MT bench score上均领先同等参数量下的LoRA算法,并大幅领先基于SGD更新的LOMO算法。此外,在SUPERGLUE的基准测试中,由BAdam训练的RoBERTa-large模型在下游任务性能上与使用Adam进行全参数微调的模型相当,显著优于LoRA 。

为了更好的帮助大家了解这项研究,机器之心最新一期线上分享邀请到论文作者、香港中文大学(深圳)数据科学学院在读博士生罗琪竣,为大家解读他们的这项工作 。

分享主题:24GB单卡高效训练Llama 3-8B,仅需添加一行代码

嘉宾介绍:琪竣为香港中文大学(深圳)数据科学学院在读博士生,导师为李肖教授。本科毕业于香港中文大学(深圳)计算机专业,研究兴趣包含机器学习、优化理论,目前的研究重点为大语言模型的优化和泛化。

分享摘要:本次分享将概述当前参数高效微调算法及其局限性,进而引出BAdam算法设计并分析其算法特性,包含显存占用、单次迭代所需运算、以及收敛性质,随后将基于以上分析重点介绍BAdam算法实现技巧,以及超参数选取策略。
  • 论文链接:https://arxiv.org/abs/2404.02827

  • 代码链接:https://github.com/Ledzy/BAdam

直播间:关注机器之心机动组视频号,立即预约直播。

机动组技术交流群:添加小助手好友备注「研究方向」,获取行业一手资讯,欢迎大家进群聊聊。



机器之心 · 机动组
机动组聚焦于学术研究、工程实践与产业应用,筛选前沿、专业、实用内容,不定期组织学术研讨、技术交流与实战分享等欢迎所有 AI 领域技术从业者关注


点击阅读原文,直达机动组官网,查看往期回顾。

微信扫码关注该文公众号作者

来源:机器之心

相关新闻

58行代码把Llama 3扩展到100万上下文,任何微调版都适用250行代码从头搭建Llama 3,GitHub一天4.6k星!Karpathy大赞速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型10人明星团队炼出首个微调Llama 3.1 405B!角色扮演一秒入戏,代码全开源一行代码,我优化掉了1G内存占用核心代码仅三行!即插即用的视觉语言连接器,一键提升多模态大模型联创用 ChatGPT 写的一行代码让公司损失上万美元!网友:老板自己写的,找不到人背锅了ICLR 2024 | 阐明扩散模型中的曝光偏差问题,一行代码大幅提升生成质量xz活跃维护者“潜伏”三年——添加恶意代码、植入SSH后门延毕危机!某研三医学生竟靠它0代码发3分生信SCI!(推荐收藏)30 个超级有用的 JavaScript 单行代码零代码发表3分生信SCI,这图表也太高级了!一分钟吸引审稿人眼球!今日arXiv最热NLP大模型论文:Github万星!北航发布零代码大模型微调平台LlamaFactory无需OpenAI数据,跻身代码大模型榜单!UIUC发布StarCoder-15B-InstructRust 生态纯属炒作?3 年写了 10 万行代码的开发者吐槽:当初用 Rust 是被忽悠了GPT-4单项仅得7.1分,揭露大模型代码能力三大短板,最新基准测试来了英伟达最新技术分享:手把手教你用Llama 3.1合成数据改进模型!附代码集体出走的Stability AI 发布全新代码大模型,3B以下性能最优,超越Code Llama和DeepSeek-CoderStability AI发布全新代码模型Stable Code 3B!媲美70亿Code Llama,没GPU也能跑慕了!躺平3年遭遇延毕危机,没想到这名医学生竟靠它0代码光速发文!(0基础可学)一键生成代码!某三甲临床医生自爆靠ChatGPT连发3篇SCI,顺利评上副高!(含福利)追觅设百亿机器人基金;Anthropic 推出 API 长文本缓存,一次性记住整个代码库丨AI情报局Apple AI 重大安全缺陷,几行代码可攻破;微信悄悄上线「微信百科」;蕉下回应裁撤品牌部:组建新部门 | 极客早知道Apple Intelligence存重大安全缺陷,几行代码即可攻破!Karpathy发文提醒
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。