|---------------------------------------------------------------------------------|-------|------|--------------------------------------------------------------------------------------|
| LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation | SIGIR | 2020 | Collaborative Filtering, Recommendation, Embedding Propagation, Graph Neural Network |
🌟 研究背景
在信息爆炸的互联网时代，个性化推荐系统成为缓解信息过载的关键工具。协同过滤（CF）作为推荐系统的核心技术之一，致力于挖掘用户与物品之间的潜在关联，以实现精准推荐。近年来，图卷积网络（GCN）凭借其强大的图结构建模能力，被引入推荐领域，展现出卓越的性能。然而，现有基于GCN的推荐模型大多直接沿用其在图分类任务中的复杂设计，如特征变换和非线性激活等操作，这些操作在用户-物品交互图中并未带来实质性益处，反而增加了模型训练难度，影响推荐效果。
🛠️ 相关工作
在将GCN应用于推荐系统之前，研究者们已经探索了多种基于用户-物品交互数据的推荐模型。经典的矩阵分解（MF）模型通过将用户和物品映射到低维隐空间，学习其隐向量表示，进而预测用户对物品的评分。随后，基于神经网络的推荐模型如NCF、LRML等，通过引入非线性变换和复杂的网络结构，增强了用户和物品特征的交互能力。此外，还有研究关注于利用用户的历史交互物品来构建用户特征，如FISM、SVD++等模型通过加权平均或注意力机制等方式，挖掘用户兴趣的演变过程。这些模型为推荐系统的发展奠定了基础，但它们主要关注于如何更好地表示用户和物品，而未充分利用用户-物品交互数据中的图结构信息。
🧠 模型图输入输出转变
LightGCN模型的输入是用户-物品交互图，其中节点包括用户和物品，边表示用户与物品之间的交互关系，如点击、购买等。每个节点初始时都有一个ID嵌入向量作为输入特征。模型通过多层的轻图卷积操作，在图上传播和聚合节点的嵌入信息，逐步学习到更加丰富和准确的用户和物品表示。具体来说，每一层的轻图卷积操作会将一个节点的嵌入向量与其邻居节点的嵌入向量进行加权求和，得到新的嵌入向量。经过K层轻图卷积后，模型将每一层得到的用户和物品嵌入向量进行加权求和，得到最终的用户和物品表示，作为模型的输出。
1. 输入层：用户与物品的ID嵌入
- 用户节点：模型图的左侧是用户节点，每个用户节点对应一个唯一的用户ID。这些用户ID在模型中被转换为初始的用户嵌入向量，通常通过随机初始化得到。这些嵌入向量是用户在隐空间中的初始表示，维度通常在几十到几百之间，具体大小根据实际需求和数据复杂度确定。
- 物品节点：与用户节点类似，模型图的右侧是物品节点，每个物品节点对应一个物品ID。物品ID同样被转换为初始的物品嵌入向量。这些向量捕捉了物品的基本特征，为后续的交互信息传播奠定基础。
2. 轻图卷积层（Light Graph Convolution，LGC）
- 邻域聚合：这是LightGCN的核心操作。在每一层LGC中，每个用户节点会聚合其邻居物品节点的信息，而每个物品节点则聚合其邻居用户节点的信息。具体来说，对于用户节点u，它会收集所有与其有过交互（如点击、购买等）的物品节点i的嵌入向量；同样，对于物品节点i，它会收集所有与其有过交互的用户节点u的嵌入向量。
- 加权求和 ：在聚合过程中，模型会对邻居节点的嵌入向量进行加权求和。权重的计算方式为对称归一化，即
，其中∣Nu∣是用户u的邻居物品数量，∣Ni∣是物品i的邻居用户数量。这种归一化方式有助于平衡不同节点的度（即邻居数量），避免因某些节点邻居过多而导致其嵌入向量在传播过程中被过度放大。 - 嵌入更新：通过加权求和得到的新的嵌入向量，将作为用户节点和物品节点在下一层LGC中的输入。这个过程在每一层LGC中重复进行，使得节点的嵌入向量不断更新，逐渐融入更广泛的邻居信息。
3. 层组合层（Layer Combination）
- 多层嵌入融合：经过K层LGC后，每个用户节点和物品节点会得到K+1个嵌入向量，包括初始的ID嵌入向量和每一层LGC更新后的嵌入向量。层组合层的作用是将这些不同层的嵌入向量进行加权求和，得到最终的用户和物品表示。
- 权重设置 ：权重系数αk决定了每一层嵌入向量在最终表示中的重要性。在实际应用中，αk可以设置为均匀分布，即每一层的权重相同，如
；也可以根据模型的训练数据自动学习得到，以更好地适应数据特性。 - 综合信息：通过层组合，模型能够综合考虑用户和物品在不同阶数邻居中的特征信息。较低层的嵌入向量主要反映了用户和物品的直接交互信息，而较高层的嵌入向量则捕捉了更间接、更广泛的关联信息。这种综合使得最终的用户和物品表示更加全面和准确。
4. 输出层：预测与推荐
- 内积计算：得到最终的用户和物品嵌入向量后，模型通过计算用户嵌入向量和物品嵌入向量的内积来预测用户对物品的兴趣程度。内积的结果是一个标量值，表示用户和物品之间的匹配程度。
- 排序与推荐：根据内积计算得到的预测分数，模型对所有候选物品进行排序，将分数较高的物品推荐给用户。这个过程通常结合一些后处理策略，如多样性增强、新颖性提升等，以生成更加符合用户需求和偏好的推荐列表。
实验部分，作者在Gowalla、Yelp2018和Amazon-Book三个公开数据集上对LightGCN模型进行了广泛的评估。这些数据集涵盖了不同的领域和规模，具有代表性。评估指标包括recall@20和ndcg@20，用于衡量模型在推荐列表前20个位置中命中用户实际交互物品的比例以及考虑排名顺序的命中情况。实验结果表明，LightGCN在所有数据集上均优于现有的基于GCN的推荐模型NGCF以及其他一些主流推荐模型，如Mult-VAE、GRMF等。例如，在Gowalla数据集上，LightGCN的recall@20比NGCF提高了16.56%，ndcg@20提高了16.87%。此外，作者还进行了消融实验，验证了模型中不同组件的作用，如层组合和对称归一化等，进一步证实了LightGCN设计的合理性和有效性。
💡 创新点
LightGCN的创新之处在于其对GCN在推荐系统中的应用进行了深入的思考和简化。首先，它摒弃了特征变换和非线性激活这两个在GCN中常见的操作，这些操作在用户-物品交互图中并不适用，反而会增加模型的复杂度和训练难度。其次，LightGCN引入了层组合策略，通过加权求和不同层的嵌入向量，充分利用了图结构中的丰富信息，提高了模型的推荐效果。此外，LightGCN还通过实验证明了其简化设计的有效性，为推荐系统领域提供了一种新的、更加高效和易于实现的图卷积网络模型。
📝 小结
总的来说，LightGCN通过简化GCN的设计，专注于图结构中的核心信息传递和聚合过程，为推荐系统提供了一种更加高效和准确的建模方式。其创新的方法和显著的实验结果，为推荐系统的进一步发展提供了新的思路和方向。