ICLR 2024 | 理解图神经网络在规则学习中的表达能力
©PaperWeekly 原创 · 作者 | 卡梅
单位 | 清华大学
引言
规则有着逻辑清晰和高度可解释的推理过程,在确保模型决策的可靠性和可信度方面发挥着至关重要的作用。尽管在过去两年内,大语言模型在许多任务上表现出了强大的推理能力,但它们在处理图数据时的理解深度和决策可靠性仍然有待提升。因此,深入研究并理解图神经网络的规则学习能力对于确保图数据处理的可信性和可靠性具有重要意义。
▲ 图1. 知识图谱中三元组的存在取决于相应的规则结构
我们研究了用于知识图谱推理的 GNN(即 QL-GNN)可以学习哪种规则结构,并提出了 EL-GNN,它可以比 QL-GNN 学习更多的规则结构。
收录会议:
UNDERSTANDING EXPRESSIVITY OF GNN IN RULE LEARNING, ICLR 2024
https://openreview.net/pdf?id=43cYe4oogi
https: //github.com/LARS-research/Rule-learning-expressivity
核心思想
本文的核心思想是通过对采用尾实体评分的图神经网络(GNN)在规则学习中的表达能力进行深入分析,揭示其理论基础,并提出新的标注策略以提高推理性能。这一研究丰富了对于 GNN 在规则学习中的理论理解,为知识图谱推理的进一步发展提供了新的思路和方法。
2.1 QL-GNN的逻辑表达能力
我们首先将这些 GNN 统一到一个通用的框架中,命名为 QL-GNN。QL-GNN 的特点是使用尾实体评分来对三元组进行打分,并从具有相同模式的子图中提取规则结构,QL-GNN 包含了 SOTA 的知识图谱推理算法,例如 RED-GNN 和 NBFNet 等。
基本规则:所有一元谓词 可以被 QL-GNN 学习;常数谓词 可以被 QL-GNN 学习; 递归规则:如果规则结构 被 QL-GNN 学习,那么也可以被 QL-GNN 学习。
与以往基于图同构测试的分析方法不同,本文采用了对图中规则结构进行形式化描述的方法。这种新的分析工具能够更好地理解 QL-GNN 所学习到的规则,并揭示 QL-GNN 在训练中可以泛化的最大表达能力。图 2 展示了 QL-GNN 可以学习的规则结构。
基于逻辑工具,本文得到了传统的知识图谱推理 GNN,例如 CompGCN 的规则学习能力:
▲ 图2. QL-GNN可以学习的规则结构及其对应的规则公式示例
QL-GNN 在学习规则结构方面还是存在一些不足之处,为了改进其学习能力,我们提出了一种新的标注策略 EL-GNN,以在知识图谱推理中学习更多的规则。这种标注策略通过优化 GNN 的输入,使得它们可以学习更广泛的规则结构,从而提高了知识图谱推理的准确性。以下命题和推论展示了如何向规则结构添加常数,使其可以用 CML 中的公式描述,以及如何应用标注技巧使其可被 QL-GNN 学习。
实验结果
本文基于合成数据集和真实数据集,对各种 GNN 的表达能力进行实验评估,验证了相关理论的正确性。同时,针对真实数据集,提出的 EL-GNN 方法也取得了显著的性能提升。这些实验结果进一步证明了本文所提出方法的有效性。
3.1 合成数据集上的实验
▲ 表1. 不同方法在合成数据集上的准确性
图 3 展示了在数据集 U 上,出度阈值 d 对 EL-GNN 的影响,过大过小的出度阈值都会影响 EL-GNN 的性能。
▲ 图3. EL-GNN在数据集U上的准确率与出度阈值d的关系
在四个实际数据集上测试 EL-GNN 的有效性:Family (Kok & Domingos, 2007),Kinship (Hinton et al., 1986),UMLS (Kok & Domingos, 2007),WN18RR (Dettmers et al., 2017),和 FB15k-237 (Toutanova & Chen, 2015)。表 2 展示了实验结果,EL 算法提高了 RED-GNN 和 NBFNet 在实际数据集上的准确性。
▲ 表2. 实际数据集上的准确性和标准差,最好的(和相对最好) “粗体”,第二(和相对第二)是下划线。
本文分析了 GNN 在知识图谱推理中学习规则的表达能力,给出了 GNN 可以学习的规则结构,并提出一种有效的标注方法来提高 GNN 的表达能力。未来,我们将扩展我们的分析到使用一般标注技巧的 GNN,以研究它们在学习更复杂规则结构方面的表现。此外,还将尝试从训练好的 GNN 中提取可解释的规则结构,以提高模型的可解释性。
参考文献
[1] Yongqi Zhang and Quanming Yao. Knowledge graph reasoning with relational digraph. In Interna- tional World Wide Web Conference, 2022.
[2] Yongqi Zhang, Zhanke Zhou, Quanming Yao, Xiaowen Chu, and Bo Han. Adaprop: Learning adaptive propagation for graph neural network based knowledge graph reasoning. In Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, pp. 3446–3457, 2023.
[3] Zhaocheng Zhu, Zuobai Zhang, Louis-Pascal Xhonneux, and Jian Tang. Neural bellman-ford networks: A general graph neural network framework for link prediction. Advances in Neural Information Processing Systems, 2021.
[4] Zhaocheng Zhu, Xinyu Yuan, Mikhail Galkin, Sophie Xhonneux, Ming Zhang, Maxime Gazeau, and Jian Tang. A*net: A scalable path-based reasoning approach for knowledge graphs. arXiv preprint arXiv:2206.04798, 2022.
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者