Bendi新闻
>
新一代注意力机制Lightning Attention-2:无限序列长度、恒定算力开销、更高建模精度
新一代注意力机制Lightning Attention-2:无限序列长度、恒定算力开销、更高建模精度
5月前
Lightning Attention-2 是一种新型的线性注意力机制,让长序列的训练和推理成本与 1K 序列长度的一致。
论文:Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models 论文地址:https://arxiv.org/pdf/2401.04658.pdf 开源地址:https://github.com/OpenNLPLab/lightning-attention
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
OpenNLPLab提出新一代注意力机制:无限序列长度、恒定算力开销、更高建模精度17岁钟美美又爆红:有钱、有名,但……习近平:完整、准确、全面贯彻落实关于做好新时代党的统一战线工作的重要思想日本10头身女星4岁当童模、14岁正式出道!与多个有妇之夫纠葛,如今...贾跃亭评小米汽车:山寨文化、走捷径令人担忧/小米汽车创始版追加开售再次售罄/马斯克称人工智能有一定几率毁掉人类联合国大量开启实习岗位:可远程、中文流利的留学生优先!中年女人炫富3宝:头发多、结节少、孩子跟你关系好淘宝、京东今年均取消618预售;7部门联合印发汽车以旧换新补贴实施细则;Canalys:第一季度中国智能手机市场回暖……求职干货|TikTok 2024 春招已开!海外求职:数据(数据分析、数据科学、工程)重磅! 美联储官宣; 美英联军, 发动空袭! 比亚迪欧洲建厂有新消息; 华为、江淮最新大动作 | 早报SIGIR 2024 | 显式且细粒度的建模!属性-观点驱动的细粒度序列推荐尊享e生2024焕新升级:9年累计服务用户超7200万,保障、服务均有新突破刘世锦:对解决好民营经济发展预期不稳、信心不足问题的建议茶百道、华莱士就空包事件回应/库克:Vision Pro 在企业中大受欢迎/OpenAI下周或发布ChatGPT版搜索引擎智联报告:海归薪资连涨5年!上海成首选!能源、高端制造、AI等硬科技人才最抢手!智联:海归薪资连涨5年!上海成首选!能源、高端制造、AI等硬科技人才最抢手!美媒预测:这些大家喜欢的连锁超市商店将在2024年倒闭消失!Albertsons、Safeway、Family Dolla将军工、航天的高精度、高稳定性引入医美器械,美敦宜医疗造出光电“法拉利”中国人民大学出版社、腾讯音乐、新圣堂影业招聘人才啦!| 求贤令F-35A的25毫米机炮终于可用,曾被精度、裂纹和软件问题困扰本周必buy | Aldi、Pandora、Kmart最新特卖华中农大教师存在学术不端、澳媒曝光孙维近照、在美华人工程师枪杀妻子后自杀等 | 今日天下上证跌破2800点、禁止借婚姻索取财物、美国对也门胡塞武装目标报复性打击等 | 今日天下财报前瞻丨特斯拉的利润率、分析师看法、Cybertruck 仍然是关注焦点