爆火后反转！「一夜干掉MLP」的KAN只是一个普通的MLP？
©作者 | 蛋酱、张倩 来源 | 机器之心
KAN 作者：我想传达的信息不是「KAN 很棒」，而是「尝试批判性地思考当前的架构，并寻求从根本上不同的替代方案，这些方案可以完成有趣、有用的事情。」
KAN 作者：我想传达的信息不是「KAN 很棒」，而是「尝试批判性地思考当前的架构，并寻求从根本上不同的替代方案，这些方案可以完成有趣、有用的事情。」
多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。
但是最近，来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。该方法在准确性和可解释性方面表现优于 MLP。而且，它能以非常少的参数量胜过以更大参数量运行的 MLP。比如，作者表示，他们用 KAN 重新发现了结理论中的数学规律，以更小的网络和更高的自动化程度重现了 DeepMind 的结果。具体来说，DeepMind 的 MLP 有大约 300000 个参数，而 KAN 只有大约 200 个参数。
这些惊人的结果让 KAN 迅速走红，吸引了很多人对其展开研究。很快，有人提出了一些质疑。其中，一篇标题为《KAN is just MLP》的 Colab 文档成为了议论的焦点。
KAN只是一个普通的MLP？
def f(x):
if x < 0:
return -2*x
if x < 1:
return -0.5*x
return 2*x - 2.5
X = torch.linspace(-2, 2, 100)
plt.plot(X, [f(x) for x in X])
plt.grid()plt.plot(X, -2*X + torch.relu(X)*1.5 + torch.relu(X-1)*2.5)
plt.grid()
k = 3 # Grid size
inp_size = 5
out_size = 7
batch_size = 10
X = torch.randn(batch_size, inp_size) # Our input
linear = nn.Linear(inp_size*k, out_size) # Weights
repeated = X.unsqueeze(1).repeat(1,k,1)
shifts = torch.linspace(-1, 1, k).reshape(1,k,1)
shifted = repeated + shifts
intermediate = torch.cat([shifted[:,:1,:], torch.relu(shifted[:,1:,:])], dim=1).flatten(1)
outputs = linear(intermediate)
Expand + shift + ReLU Linear
Expand + shift + ReLU (第 1 层从这里开始) Linear Expand + shift + ReLU (第 2 层从这里开始) Linear Expand + shift + ReLU (第 3 层从这里开始) Linear
Linear (第 1 层从这里开始) Expand + shift + ReLU Linear (第 2 层从这里开始) Expand + shift + ReLU
Linear (第 2 层从这里开始) Expand + shift + ReLU
对KAN思路、方法、结果的重新审视
作为该论文的作者之一，我想说几句。KAN 受到的关注令人惊叹，而这种讨论正是将新技术推向极限、找出哪些可行或不可行所需要的。
我想我应该分享一些关于动机的背景资料。我们实现 KAN 的主要想法源于我们正在寻找可解释的人工智能模型，这种模型可以「学习」物理学家发现自然规律的洞察力。因此，正如其他人所意识到的那样，我们完全专注于这一目标，因为传统的黑箱模型无法提供对科学基础发现至关重要的见解。然后，我们通过与物理学和数学相关的例子表明，KAN 在可解释性方面大大优于传统方法。我们当然希望，KAN 的实用性将远远超出我们最初的动机。
最近我被问到的最常见的问题是 KAN 是否会成为下一代 LLM。我对此没有很清楚的判断。
KAN 专为关心高精度和可解释性的应用程序而设计。我们确实关心 LLM 的可解释性，但可解释性对于 LLM 和科学来说可能意味着截然不同的事情。我们关心 LLM 的高精度吗？缩放定律似乎意味着如此，但可能精度不太高。此外，对于 LLM 和科学来说，准确性也可能意味着不同的事情。
我欢迎人们批评 KAN，实践是检验真理的唯一标准。很多事情我们事先并不知道，直到它们经过真正的尝试并被证明是成功还是失败。尽管我愿意看到 KAN 的成功，但我同样对 KAN 的失败感到好奇。
KAN 和 MLP 不能相互替代，它们在某些情况下各有优势，在某些情况下各有局限性。我会对包含两者的理论框架感兴趣，甚至可以提出新的替代方案（物理学家喜欢统一理论，抱歉）。
▲ KAN 论文一作刘子鸣。他是一名物理学家和机器学习研究员，目前是麻省理工学院和 IAIFI 的三年级博士生，导师是 Max Tegmark。他的研究兴趣主要集中在人工智能 AI 和物理的交叉领域。
参考链接：https://colab.research.google.com/drive/1v3AHz5J3gk-vu4biESubJdOsUheycJNz#scrollTo=WVDbcpBqAFop
https://github.com/KindXiaoming/pykan?tab=readme-ov-file#authors-note
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者