AAAI 2024 | 面向神经网络的全贝叶斯显著性检验方法
显著性检验可以用于判断一个命题在给定观察数据下是否为真。然而,传统的显著性检验往往需要推导检验统计量的分布形式,难以处理复杂的非线性关系。在本文中,我们提出面向神经网络的全贝叶斯显著性检验方法,称为 nFBST (neural FBST),以克服传统检验方法对建模非线性关系的局限性,是首篇将深度神经网络引入显著性检验的工作。
我们采用贝叶斯神经网络来精确地拟合非线性和高维关系,进而通过计算贝叶斯证据作为检验度量。nFBST 不仅可以进行全局的检验,还可以进行局部和逐样本的检验,之前的检验方法只关注全局的检验。而且,nFBST 是一个通用的框架,可以选择不同的特征重要性度量进行扩展,比如 Grad-nFBST、LRP-nFBST、DeepLIFT-nFBST、LIME-nFBST。
我们在模拟数据集和真实数据集上均进行了实验验证了我们方法的优越性。
论文作者:
通讯作者:
收录会议:
论文链接:
代码链接:
引言
显著性检验可以用于判断一个命题在给定观察数据下是否为真,在许多科学领域得到了非常广泛的应用,比如社会科学、医药研究。例如,评估新的治疗方法或药物的疗效:第一步,进行临床试验,将接受新疗法治疗的患者与对照组的反应进行比较;第二步,显著性检验作为分析工具确定接受新疗法治疗后效果的改善是否显著,这为新疗法的评估提供了证据。
我们的主要贡献可以总结为以下几点:
我们是首篇将深度神经网络引入显著性检验的工作,我们的方法通过贝叶斯的方式拟合检验统计量分布从而替代了复杂的理论推导,并且深度神经网络不需要对 的形式做特定假设。 我们设计了面向神经网络进行全贝叶斯显著性检验的完整流程,它是一个通用的框架,可以选择不同的实现方式以及不同的特征重要性度量进行扩展,比如 Grad-nFBST、LRP-nFBST、DeepLIFT-nFBST、LIME-nFBST。 我们提出的 nFBST 既可以解决全局的显著性检验问题,也可以解决之前方法所忽视的局部显著性检验,在非线性假设下,一个命题在全局和局部的表现可能并不一致。 我们进行了丰富的实验验证我们方法的优越性。
理论方法
频率学派显著性检验方法
频率学派显著性检验方法的有效性依赖于对 的合理假设,然而,当真实的数据分布非常复杂时,我们很难做出贴近实际情况的精确假设。 深度学习模型这类模型具有很强的拟合能力(万能逼近定理),但随着对 的假设更加复杂, 的理论分布形式也会变得非常复杂,这使得其难以计算,因此频率学派显著性检验方法经常假设 线性或某种核函数。
全贝叶斯显著性检验
检验统计量分布的近似
具体实现
计算检验统计量的分布
两个分布之间的距离采用 KL 散度衡量。
检验统计量的设计
实验
Toy Example
对比频率学派显著性检验方法,只有Bootstrap准确识别 无意义,而另外两种未能准确识别;通常情况下,我们会设置一个显著性水平(比如 ),然后将其与 值进行比较,如果 值小于显著性水平就拒绝零假设,反之则无法拒绝。 采用不同重要性度量的 nFBST 均表现良好,所有的 nFBST 对 都提供了很强的证据支持零假设,但对于其他特征则没有。 逐样本显著性检验要比全局显著性检验粒度更细,我们挑选了 这个特征来具体研究。Figure 2绘制了通过 Grad-nFBST 获得的贝叶斯证据分布,通过散点图和直方图可以发现其分布基本与 相符。
仿真实验
Global.(Table 2) ① Bootstrap更倾向于将特征判断为有意义,因此Recall很高,但Precision很低;② likelihood ratio test更倾向于将特征判断为无意义,因此Precision很高,但Recall很低;③ 综合来看,t-test要比另外两种频率学派检验方法表现更好,而我们本文提出的方法更是在所有情况下均表现最优。
真实数据集实验
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者