Bendi新闻
>
Transformer已死?Mamba强的离谱!

Transformer已死?Mamba强的离谱!

1月前

Mamba

01

Mamba作为一种新型的选择性状态空间模型方法,在语言建模方面可以媲美Transformer,并且目前已经有了很多结合Mamba的研究成果。


那么,今天我就整理了Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下:

添加课程回复"Mamba"

01.Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长 ,计算效率非常低。在这篇论文中,研究者提出了一种新架构—「选择性状态空间模型」。

  


02.MoE-Mamba: Effcient Selective State Space Models with Mixture of Experts

状态空间模型(SSM)是近来一种备受关注的 Transformer 替代技术,其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。本文的研究成果是 MoE-Mamba,是将 Mamba 和混合专家层组合起来的模型。MoE-Mamba 能同时提升 SSM 和 MoE 的效率。而且该团队还发现,当专家的数量发生变化时,MoE-Mamba 的行为是可预测的。


03.Mamba前世今生:MODELING SEQUENCES WITH STRUCTURED STATE SPACES


文中提出一个用于对连续信号进行增量建模的新颖数学框架,该框架可与状态空间模型相结合,为其赋予原则性的状态表示,并提高其对长程依赖关系的建模能力。


04.Vision Mamba:Effcient Visual Representation Learning with Bidirectiona State Space Model


本文提出Vision Mamba,在 ImageNet 分类任务、COCO 对象检测任务上,与 DeiT等成熟的视觉 Transformers 相比,Vim 实现了更高性能,还显著提高了计算和内存效率。

Vim 能够克服对高分辨率图像执行 Transformer 式理解时的计算和内存限制,并且具有成为视觉基础模型的下一代骨干的巨大潜力。


Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下:

添加课程回复"Mamba"



05:VMamba:Visual State Space Model


卷积神经网络(CNN)和视觉Transformer(ViT)是视觉表示学习的两种最流行的基础模型。虽然ViT 的拟合能力超过了CNN,但其复杂性却是二次方。

受 Mamba 模型的启发,研究者设计出一种在线性复杂度下同时具有这两种优秀性质的模型,即 Visual State Space Model(VMamba)。大量的实验证明,VMamba 在各种视觉任务中表现卓越。如下图所示,VMamba-S 在 ImageNet-1K 上达到 83.5% 的正确率,比 Vim-S 高 3.2%,比 Swin-S 高 0.5%。


06:SSM + Transformer:Block-State lransformers


SSM 最初是为连续信号而设计的,现已在视觉和音频等众多任务中表现出卓越的性能。然而,SSM 在语言建模任务中的性能仍然落后于 Transformer。

为此,本文作者提出了一个名为块状态Transformer(BST)的混合层,它在内部结合了用于远程上下文化的 SSM 子层和用于序列短期表示的块变换器子层。 

  

07:RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation

本文提出了一个新颖的双分支网络,名为遥感图像语义分割Mamba(RS3Mamba),旨在将Mamba整合到遥感任务中。

08:DenseMamba:大模型的DenseNet时刻!


大型语言模型(LLMs)正面临巨大挑战,因为常用的Transformer架构需要巨大的计算和内存资源。虽然状态空间模型(SSM)作为一种新型基础网络架构,提供了较低的计算复杂度,但其性能尚未完全匹敌Transformer。本工作提出了DenseSSM,用于增强SSM中各层间隐藏信息的流动。通过将浅层隐藏状态有选择地整合到深层中,DenseSSM保留了对最终输出至关重要的精细信息。

因篇幅有限,仅展示前8篇


Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下:

添加课程回复"Mamba"

微信扫码关注该文公众号作者

来源:Jack Cui

相关新闻

已致4死!日本的红曲保健品怎么回事?“网红药”暴雷了?!大家最常用的小林制药变毒药!已致4死106人住院…重磅|已超千人死伤!台湾25年最强震威力堪比32颗原子弹!有明星上亿藏品尽毁!全球芯片或再短缺?惊天爆料!查尔斯国王已“逝世”?凯特王妃成现实版“消失的她”?全网传疯,越来越离谱了…19.2k star,三分钟实现一套 Web 版的 Excel 组件,这个开源工具强的离谱!最离谱的死法!老人梦到厨房下面有黄金,向下挖了13层楼结果意外摔死Java已死?QNMD吧!“接种疫苗者禁止献血!”红十字会曝光惊人秘密:疫苗已摧毁我们的抵抗力?!真相是...再战Transformer!原作者带队的Mamba 2来了,新架构训练效率大幅提升横跨多州强风暴已致22死!房屋大片损毁超40万户停电不输ChatGPT!一款强到离谱的科研AI工具!博士师姐裂墙推荐!强的离谱,AIGC杀疯了!“接种疫苗者禁止献血!” 红十字会曝光惊人秘密?!新冠疫苗已摧毁我们的抵抗力,背后真相是...带女儿去了趟医院儿科,发现了怪事:孩子们的身高太离谱了吧?!重磅突发!澳洲这一签证,正式宣告终结!移民之路,已被堵死?大批华人富豪曾以此获得澳洲身份…伊朗总统飞机失事最新消息!总统已身亡,究竟是谁干的?Mamba超强进化体一举颠覆Transformer!单张A100跑140K上下文沈阳一轿车冲入人行道,已致3死2伤!驾驶员已逃逸?公安已介入“留学生买过的最离谱的商品??”哈哈哈是能报警的离谱程度!全新iPad Pro真机上手!M4芯片强到离谱,会震的Apple pencil很上头...深夜通报,已致5死33伤!广州突发强龙卷,冰雹比拳头大,车窗、房顶被砸穿,航班大面积延误!气象局紧急提醒“上课做梦大喊爱妃不要离开朕?”哈哈社死来的太突然!A-level&IG秋季考试报名时间已公布!可选科目有限?我想考的科目还能报吗???17岁中专女生入围全球数学竞赛12强!是什么限制了女孩的数学能力?
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。