没算法没实验,这篇论文凭借纯理论入选ICML 2024 Spotlight
©作者 | 蔡永强
来源 | 量子位
没有算法没有实验,从 2610 篇收录论文中脱颖而出,成为唯一一篇纯理论入选 2024 ICML Spotlight 的论文。
“Vocabulary for Universal Approximation: A Linguistic Perspective of Mapping Compositions(词的万能逼近:从语言角度看映射组合)”,这篇纯理论论文讲了什么,何以入选 Spotlight?
论文标题:
Vocabulary for Universal Approximation: A Linguistic Perspective of Mapping Compositions
论文链接:
自然语言与万能逼近的相似之处
认知心理学家和语言学家早已认识到语言对于智能的重要性,而 BERT 和 GPT 等语言模型的流行进一步凸显了这一点。这些基于 RNN 或 Transformer 的模型通过将自然语言处理转化为序列学习问题,彻底改变了自然语言处理的研究方向。它们可以处理文本中的长程依赖性,并根据上下文内容生成连贯的文本,这使它们成为语言理解和生成方面的重要工具。
这些模型的成功还催生了一种通过将非序列问题转化为序列问题来解决非序列问题的新方法。例如,图像处理可以转化为序列学习问题,将图像分割成小块,将它们按一定顺序排列,然后使用序列学习算法处理得到的序列以实现图像识别。
序列学习算法的使用还可以扩展到强化学习领域,例如 Decision Transformer通过利用因果掩码 Transformer 输出最佳动作,可以取得很好的性能。序列建模为解决各种问题开辟了新的可能性,这种趋势似乎在理论研究领域也得到了体现。
众所周知,人工神经网络具有万能逼近能力,宽或深的前馈网络可以任意逼近紧集上的连续函数。然而,在 AlphaFold、BERT 和 GPT 等实际应用中,残差网络结构比前馈结构更受青睐。据观察,残差网络(ResNet)可以视为动力系统的前向欧拉离散,这种关系催生了一系列基于动力系统的神经网络结构,例如连续情形的 Neural ODE 等。基于动力系统的神经网络结构有望在各个领域发挥重要作用。
值得注意的是,语言模型和动力系统都与时间序列建模相关,并且已有效地应用于非序列问题。这一观察自然会让我们产生疑问:语言模型和时间序列建模各自的成功之间是否存在内在联系?
本文这项研究就是在探究这一问题。
总结来说,研究有以下几个贡献:
证明了通过复合有限集 V 中的一系列映射可以实现万能逼近性质;
给出了构造性证明,基于动力系统流映射构造了满足条件的 V;
给出了复合映射与自然语言中的单词/短语/句子之间的一个类比,这可以启发逼近理论、动力系统、序列建模和语言学之间的跨学科研究。
主要结论
记号
证明思路
定理的证明涉及的知识要点罗列如下:
1. 保持定向的微分同胚可以近似连续函数(Brenier & Gangbo, 2003 );
2. 保持定向的微分同胚可以用微分方程的流映射来近似(Agrachev & Caponigro, 2010) ;
3. 常微分方程可以使用算子分裂格式来近似求解(Holden et al., 2010);
4. 单隐藏层的神经网络可以近似任意连续函数(Cybenko, 1989);
总结与启发
“The limits of my language mean the limits of my world.”(我的语言的界限即是我的世界的界限。)
“The meaning of a word is its use in the language.”(一个词的意义在于它在语言中的使用。)
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者