Bendi新闻
>
Transformer仍是2024发论文神器

Transformer仍是2024发论文神器

8月前

短短五年,Transformer就几乎颠覆了整个自然语言处理领域的研究范式,也促进了计算机视觉、计算生物学等领域的研究进展。


这次我邀请了多位顶会大咖,做了22节最全Transformer系列课程,带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:


亮点一:精讲论文+代码

亮点二:详解Transformer的多方向应用


论文+代码


多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁22节系列课

带你吃透理论和代码

加课程回复“Transformer"获取226篇transformer顶会论文合集


Transformer系列课程目录


阶段一:吃透论文和代码,牢牢掌握Transformer基础

1:CV-transformer 概述

2:CV-transformer VIT论文讲解

3:CV-transformer PVT论文详解

4:CV-transformer PVT代码详解

5:CV-transformer Swin Transformer论文详解

6:CV-transformer Swin Transformer代码详解

7:CV-transformer DETR 论文详解

8:CV-transformer DETR代码讲解

9:CV-transformer——VIT

10:CV-transformer——MAE

11:CV中的transformer专题MAE详解


阶段二:掌握Transformer多方向应用

1:Transformer简介和预训练语言模型应用

2:基于Vision Transformer的语义分割算法

3:Transformer在视觉任务中的应用与高效部署

  • ViT为的主图像分类网络

  • Segformer为主的图像分割网络

  • 常用轻量化方法介绍

  • 以Transformer为主的视觉任务设计高效的轻量化方法

  • 未来挑战与研究方向



0.01元解锁22节系列课

带你吃透理论和代码


Transtormer系列论文


另外我还整理了通用ViT、高效ViT、训练transformer、卷积transformer等细分领域226篇顶会论文,带你从「Transformer的前世」速通到大模型。


论文目录:(因篇幅有限,仅展示前十篇)

1. Neural Machine Translation by Jointly Learning to Align and Translate(2014)

2. Attention is All you need (2017)

3. On Layer Normalization in the Transformer Architecture (2020)

4. Universal Language Model Fine-tuning for Text Classification (2018)

5. Harnessing the Power of LLMs in Practice (2023)

6. Cramming: Training a Language Model on a Single GPU in One Day (2022)

7. LoRA: Low-Rank Adaptation of Large Language Models (2021)

8. Training Compute-Optimal Large Language Models (2022)

9. Constitutional AI: Harmlessness from AI Feedback (2022)

10. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling (2023)

扫码回复“Transformer"获取226篇transformer顶会论文合集

带你从「Transformer的前世」速通到大模型



微信扫码关注该文公众号作者

来源:CVer

相关新闻

ICLR 2024 杰出论文!涨点神器!Meta提出:ViT需要RegistersICML 2024 | Transformer究竟如何推理?基于样例还是基于规则暑假游必备的神器,2024新款ELLE拉杆箱,限时特惠~分享一个快速出门约会的护发神器!黄仁勋集齐Transformer论文七大作者,对话一小时,干货满满开源日报 | 华为腾讯相爱相杀;Redis不再 “开源”;老黄集齐Transformer论文七大作者;“中国大模型第一城”争夺战中文实录!黄仁勋集齐Transformer论文七大作者,对话一小时,干货满满现场围观 | 黄仁勋对话Transformer论文作者:世界该给Tranformer翻篇了吹爆!这个写作神器太好发综述了,忍不住安利……清华提出时间序列大模型:面向通用时序分析的生成式Transformer | ICML 2024ICML 2024|Transformer究竟如何推理?基于样例还是基于规则高效涨点!用Transformer模型发Nature子刊(文末送书)解决Transformer根本缺陷,CoPE论文爆火:所有大模型都能获得巨大改进CVPR 2024 | 让视频姿态Transformer变得飞速,北大提出高效三维人体姿态估计框架HoTCoPE论文爆火!解决Transformer根本缺陷,所有大模型都能获得巨大改进去屑神器二硫化硒洗发水,2瓶只要59元!Arxiv最热论文推荐:揭秘Transformer新身份、谷歌VLM蒸馏、复旦LEGO模型发现比Grammarly好用10倍的神器,我写出了一稿过的英语论文!走路和跑步,哪种方式对血管和寿命更好?答案让人意外;咖啡竟是护肝神器?背后真相是……|本周论文推荐深度好文|建议2024年往死里学的6个AI类神器,赶快码住建议2024年往死里学的6个AI类神器,赶快码住ICML 2024|华为诺亚提出SLAB:从BN和注意力角度改进Transformer别只会换裙子!2024超火火火火の「钻石包」,才是“氛围感”神器!!CVPR 2024 | 与任务无关的多模态数据也能提升Transformer性能!港中文&腾讯新作
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。