Bendi新闻
>
超越Mamba、Transformer!TTT:全新架构来袭!
超越Mamba、Transformer!TTT:全新架构来袭!
3月前
点击下方卡片,关注“CVer”公众号
点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
AI/CV重磅干货,第一时间送达
添加微信:CVer5555,小助手会拉你进群!
扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!
添加微信:CVer5555,小助手会拉你进群!
扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!
从 125M 到 1.3B 的大模型,性能都有提升。
在论文上线后,作者公开了代码与 jax 以供人们训练和测试:https://github.com/test-time-training/ttt-lm-jax 还有 PyTorch 推理代码:https://github.com/test-time-training/ttt-lm-pytorch
2k 上下文,TTT-Linear (M)、Mamba 和 Transformer 的性能相当,因为线条大多重叠。在 FLOP 预算较大的情况下,TTT-MLP (M) 的性能稍差。尽管 TTT-MLP 在各种模型大小下都比 TTT-Linear 有更好的困惑度,但 FLOPs 的额外成本抵消了这一优势。 8k 上下文,TTT-Linear (M) 和 TTT-MLP (M) 的表现都明显优于 Mamba,这与 2k 上下文中的观察结果截然不同。即使是使用 Transformer 主干网络的 TTT-MLP (T) 在 1.3B 左右也比 Mamba 略胜一筹。一个显著现象是,随着上下文长度的增加,TTT 层相对于 Mamba 层的优势也在扩大。 上下文长度达到 8k,Transformer 在每种模型尺寸下的困惑度依旧表现不错,但由于 FLOPs 成本的原因,已不具竞争力。
何恺明在MIT授课的课件PPT下载
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!
ECCV 2024 论文和代码下载
在CVer公众号后台回复:ECCV2024,即可下载ECCV 2024论文和代码开源的论文合集
CVPR 2024 论文和代码下载
CVPR 2024 论文和代码下载
在CVer公众号后台回复:CVPR2024,即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码,或者添加微信:CVer5555,即可添加CVer小助手微信,便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者扩散模型+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer5555,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!
▲扫码加入星球学习
▲点击上方卡片,关注CVer公众号
整理不易,请赞和在看
▲扫码或加微信号: CVer5555,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!
▲扫码加入星球学习
▲点击上方卡片,关注CVer公众号
整理不易,请赞和在看
微信扫码关注该文公众号作者
来源:CVer
相关新闻
Mamba和Transformer合体!Jamba来了:超越Transformer!LSTM又火了!再次杀入视觉!xLSTM一举超越Mamba、Transformer!新架构Mamba更新二代!作者:别争了,数学上Transformer和SSM是一回事干掉MLP!KAN:全新神经网络架构爆火!网友:发论文"新坑"来了气愤!“回你的国家去!”奥克兰亚裔坐公交被袭、吐口水、辱骂!新西兰官方回复来了:未来会这样做!Mamba真比Transformer更优吗?Mamba作者:我全都要!混合架构才是最优解!Mamba真比Transformer更优吗?Mamba原作者:两个都要!混合架构才是最优解再战Transformer!原作者带队的Mamba 2来了,新架构训练效率大幅提升警惕!纽约母亲独自把孩子留在炎热的车中!被捕!!注意!龙卷风、强雷暴来袭!纽约、三州地区或下冰雹....警惕!龙卷风、强雷暴来袭!纽约、三州地区或下冰雹刚刚!卑诗省府发警告:高温来袭!再拨$2000万发免费空调湾区周末去哪儿 ? 马拉松比赛、海滨市集、硅谷发明节、美食夜市、还有流星雨来袭!【收藏】万人挤爆悉尼CBD!Vivid Sydney强势来袭!光影艺术、音乐大秀、港湾大桥...最全攻略来了!喜大普奔!买房有望?房价小幅下滑,买方市场来袭!专家支招:现在正是购房时机!华人注意!今晚早点回家!严重风暴来袭!或伴随冰雹、龙卷风!最高100℉!危险热浪来袭!高温风险警告:专家建议避免外出!波士顿将迎2年来首次热浪!“高考后焦虑症”来袭!北大教授呼吁:与其怕孩子选错专业, 不如关注这3件事暴风雨来袭!华人出行注意:严重雷暴警告!可能伴随冰雹!澳洲快餐巨头新品来袭!网红力推:好吃~芝加哥或将上演“龙卷风”灾难?破坏性冰雹、强风来袭,做好防范!微软宣布:将在伦敦成立全新部门!留学生:机会来了!重磅官宣!新西兰房价要猛涨!?大地震来袭:这一政策松绑!外国人可购房?影响超多华人!【Allston 巨震!波士顿第一房东倾心打造全新社区大楼即将来袭!】【免中介费+ 免一月房租】【新楼盘!最好户型先到先选!】Mamba架构第一次做大!混合Transformer,打败Transformer