Bendi新闻
>
大模型也能切片,微软SliceGPT让LLAMA-2计算效率大增
大模型也能切片,微软SliceGPT让LLAMA-2计算效率大增
4月前
机器之心报道
编辑:张倩、佳琪
删除权重矩阵的一些行和列,让 LLAMA-2 70B 的参数量减少 25%,模型还能保持 99% 的零样本任务性能,同时计算效率大大提升。这就是微软 SliceGPT 的威力。
论文标题:SLICEGPT: COMPRESS LARGE LANGUAGE MODELS BY DELETING ROWS AND COLUMNS 论文链接:https://arxiv.org/pdf/2401.15024.pdf
注意,向量 x 乘以 Q 不会改变向量的 norm,因为在这项工作中,Q 的维度总是与 transformer D 的嵌入维度相匹配。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
Llama 2打败GPT-4!Meta让大模型自我奖励自迭代,再证合成数据是LLM终局首个国产开源MoE大模型来了!性能媲美Llama 2-7B,计算量降低60%今日arXiv最热NLP大模型论文:伯克利&DeepMind联合研究,RaLMSpec让检索增强LLM速度提升2-7倍!ICML2024高分论文!大模型计算效率暴涨至200%,来自中国AI公司今日arXiv最热NLP大模型论文:微软提出SliceGPT,删除25%模型参数,性能几乎无损大模型+智能眼镜,让失明人士也能无障碍阅读大模型+蒙特卡洛树搜索,一招让LLaMa-3 8B奥数水平直逼GPT-4微软亚研院新作:让大模型一口气调用数百万个API!今日arXiv最热NLP大模型论文:微软:用大模型分析用户满意度,让智能系统更善解人意Llama-2+Mistral+MPT=? 融合多个异构大模型显奇效微软大模型Phi3安装和介绍,普通电脑不联网也能提问!最强开源大模型Llama 3来了!4000亿参数狙击GPT-4,训练数据达Llama 2七倍1至2月社零总额增长5.5%,马斯克突然开源大模型 | 财经日日评让大模型理解手机屏幕,苹果多模态Ferret-UI用自然语言操控手机房子又好卖了!加州房屋销量大增,2周内成交吴恩达:四个步骤,让大模型变得更好大神Karpathy强推,分词领域必读:自动钓鱼让大模型“发疯”的token,来自Transformer作者创业公司246篇文献!参数高效微调最新综述发布,让大模型不再「巨无霸」让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述Meta最新进展!“超级外挂”RAG如何让大模型不再胡说八道?周鸿祎向李彦宏“开炮”:有些名人胡说八道别被忽悠了;全球最强开源大模型Llama 3发布:最大模型参数将超4000亿丨AI周报哈尔滨啤酒检出呕吐毒素;Meta发布开源大模型Llama 3丨大公司动态最强开源大模型 Llama 3震撼发布!开源模型将追上GPT-4,4000亿参数模型也在路上卷疯了!最强开源大模型Llama 3发布,最大参数4000亿,小扎内心:大模型比元宇宙香多了