港大发布XRec：首个让推荐系统「会说话」的智能大模型

6月前

传统的推荐系统虽然能给出精准的结果，但常常被视为"黑箱"式的算法，难以让用户理解其内在的推荐逻辑。香港大学黄超老师团队最新研发的 XRec 系统，通过融合大语言模型（LLM）的语义理解能力和协同过滤的用户偏好建模，实现了推荐过程的“透明化”转变。

XRec 不仅能生成个性化、贴合用户需求的推荐结果，更能以通俗易懂的自然语言，向用户阐述其推荐依据和内在逻辑。这种创新性的“可解释推荐”范式，不仅大幅提升了用户体验和信任度，也为推荐技术的未来发展带来新的可能。与传统的“黑箱”型推荐系统相比，XRec 彰显了推荐系统向更智能化和可解释化方向演进的新趋势。

代码链接：

https://github.com/HKUDS/XRec

论文链接：

https://arxiv.org/pdf/2406.02377

实验室链接：

https://sites.google.com/view/chaoh

总体介绍

XRec 是一款兼具自然语言处理和推荐系统功能的大语言模型。其核心在于将语义分析和用户建模技术有机融合，实现对用户需求的深度理解和个性化推荐。与传统的基于协同过滤的推荐系统相比，XRec 在推荐过程中引入了一定程度的智能化和可解释性，为推荐系统的技术升级提供了新的思路。

具体而言，XRec 通过整合自然语言处理的语义分析能力和推荐系统中的协同过滤技术，能够深入洞悉用户的兴趣偏好，并为推荐提供可解释的说明，让用户更好地理解推荐决策的依据。这种可解释性的模型范式有助于提高推荐结果的透明度。

模型方法

XRec 是一个融合大型语言模型（LLMs）和图神经网络（GNNs）的智能推荐系统框架，其独特之处在于能够实现用户行为信号和文本语义信息的高效融合，为推荐结果提供丰富多样的自然语言解释。

2.1 行为关系建模

XRec 巧妙地利用 GNNs 的强大表征学习能力，有效捕捉了用户-商品之间错综复杂的交互关系。具体来说，基于图神经网络的消息传递机制，XRec 的协作图 tokenizer 在用户-商品交互图上进行信息的传播和聚合，促进了用户和商品节点表征的学习。这不仅能够更好地捕捉节点之间的关联，还能够反映出交互过程中蕴含的复杂模式。GNN 作为一种“协作信号的 tokenizer”，将这些复杂的用户-商品关联模式编码到潜在的嵌入空间中。

2.2 协同关系及文本语义融合

表征空间对齐的映射器：XRec 的核心创新在于它能够高效融合来自不同维度的信息源，实现用户行为信号和文本语义的深度协同建模。为实现跨模态语义融合，XRec 配备了一个轻量级的适配器模块，用于协调融合不同语义模态（行为信号和文本语义）间的差异。这种跨模态语义对齐使用了注意力机制和残差连接等技术手段，能够有效缩小行为信号和文本语义之间的语义鸿沟，从而更好地整合利用这些多模态信息。

协同信号的注入：XRec 其中之一的创新之处在于它能够实现行为信号和文本语义的深度融合，充分发挥不同模态信息的互补优势，为推荐系统带来颠覆性的创新。其中最引人注目的就是 XRec 巧妙地将丰富的协同信号注入到大型语言模型（LLM）中，从而赋予推荐结果更加生动、富有洞见的解释能力。

具体来说，在完成前述的跨模态语义对齐后，我们的系统已经做好将协同信号融入 LLM 的准备工作。我们会在输入提示中预留一些特殊的标记位（tokens），然后将提示转换为 token 嵌入，最后将已适配的协同信息嵌入注入到这些保留位置中。这种行为驱动的生成方式，能够充分发挥 LLM 在自然语言生成方面的优势，使得 XRec 能为推荐结果提供富有见地且富有意义的解释内容。

这种创新性地融合 CF 技术和 LLM 的做法，赋予了 XRec 独特的优势。一方面，它保留了基于用户行为的协同过滤的建模优势，能够捕捉复杂的用户-商品交互模式；另一方面，它又能通过 LLM 的生成能力为推荐结果提供出色的文本解释，大幅增强了整个推荐过程的可解释性。

XRec 采用了一种独特的融合机制，巧妙地将丰富的协同信号注入到大型语言模型（LLM）中，充分发挥不同模态信息的互补优势，为推荐系统带来了颠覆性的创新。

我们注意到，随着输入提示长度的增加，分配给每个嵌入 token 的注意力权重（attention weight）容易出现下降，这可能导致本就稀疏的协同信号被严重稀释。为了解决这一问题，我们提出了一种全新的融合策略：不仅在 LLM 的输入阶段就注入适配后的协同嵌入，还将其扩展到整个网络的各个隐藏层中。

具体来说，我们对 LLM 内部的查询（query）、键（key）和值（value）投影函数进行了专门的修改：

这样不仅确保了协同上下文的强大表征，还使得梯度在回传到专家混合（MoE）模块时更为有效，充分发挥了 LLMs 在深层语义理解方面的优势，同时又能充分吸收图神经网络（GNN）在捕捉结构模式方面的专长。

这种创新性的跨模态融合策略，与传统的简单融合方式相比，能够大幅提升推荐系统的性能和可解释性。一方面，它保留了基于用户行为的协同过滤建模优势，捕捉了复杂的用户-商品交互模式;另一方面，它又能通过 LLM 的强大生成能力为推荐结果提供出色的文本解释，大幅增强了整个推荐过程的可解释性。

2.3 模型的进一步优化

模型架构优化：XRec 采用了独特的跨模态融合策略，通过在 LLM 的关键投影函数中注入适配后的协同信息嵌入，确保了协同上下文的强大表征，增强了 LLM 在深层语义理解方面的优势。此外，它还将协同信号扩展到整个网络的各个隐藏层中，使得梯度在回传到专家混合模块时更为有效，充分发挥了 LLM 和 GNN 在各自擅长领域的专长。这种创新性的融合方式大幅提升了推荐系统的性能和可解释性。

损失函数优化：为了提升 LLM 在生成语境和句法连贯解释方面的能力，XRec 采用了负对数似然（NLL）作为训练损失函数。这种加权形式的损失函数不仅关注预测准确性，还能确保模型优化生成解释的整体连贯性。通过按字符数进行归一化，XRec 确保了各个解释在损失计算中获得公平的权重，从而推动模型学习生成更加流畅自然的文本。

参数优化策略：为了降低训练复杂度，XRec 选择冻结了 LLM 内部的所有参数，仅在基于专家混合的适配器模型中进行参数更新。这种策略确保了模型能够充分利用 LLM 庞大的知识储备，同时又能够灵活地针对特定任务进行优化和精细调整，提高了模型的适应性和泛化能力。

模型性能评估

XRec 模型在多个公开数据集上的验证实验取得了出色表现。通过使用 GPTScore 和 BERTScore 等可解释性指标进行评估，结果显示 XRec 在可解释性和稳定性方面均明显优于基准模型（Att2Seq、NRT、PETER 和 PEPLER）。这些实验结果充分证明了 XRec 在推荐系统应用中的强大实力。

3.1 泛化能力分析

为了全面检验 XRec 的泛化能力，我们在不同数据稀疏性的场景下进行了实验。将测试集划分为五个子集（tst1 至 tst5），涵盖了从罕见到频繁不等的用户群体。结果表明，XRec 不仅在常规用户群体中表现卓越，在零样本场景下（仅包含训练期间未遇到的新用户）也优于基准模型，与其他子集的性能基本持平。这种在冷启动场景下的出色表现，体现了 XRec 强大的泛化能力，对于新用户的推荐应用具有重要价值。

3.2 关键模块分析

为了深入探究 XRec 关键组件的影响，我们进行了一系列消融实验。通过比较包含所有特性的完整模型（Ours）与三种变体（无 Profile、无协同信号注入、无属性&协同信号注入），并使用 GPTScore 和 BERTScore 这两个可解释性指标进行评估，我们发现：用户/项目属性以及协同信息的注入，都为模型的出色表现做出了重要贡献。这突出了每个组件在推动模型性能和能力方面的关键作用。

总结

创新框架：本研究提出了一种全新的 XRec 框架，它实现了基于图的协同过滤方法与大语言模型（LLM）技术的有机融合。这种创新设计使得 XRec 能够为推荐输出生成全面而见解深刻的解释说明。XRec 配备了专门的协同信息适配器模块，作为协同信号（collaborative signal）与 LLM 语义空间之间的关键连接纽带，有效捕捉到了构成用户偏好和项目关联的高阶依赖性。

性能优势总结：广泛的实验结果充分证明了 XRec 框架的显著优势。它不仅提升了推荐过程的可解释性，而且在具有挑战性的零样本场景中展现出了出色的泛化能力和鲁棒性。这意味着XRec能够更好地满足用户个性化需求，为下一代智能推荐系统开辟新的可能。

模型泛化性亮点：XRec 的创新之处在于，它实现了基于图的协同过滤方法与大语言模型（LLM）技术的有机融合。关键在于，XRec 配备了专门的协同信息适配器模块，作为协同信号（collaborative signal）与 LLM 语义空间之间的关键连接纽带。这种设计使得 XRec 能够有效捕捉到构成用户偏好和项目关联的高阶依赖性，从而提升了推荐过程的可解释性，并在具有挑战性的零样本场景中展现出出色的泛化能力和鲁棒性。

更多阅读