多模态融合推荐算法

人工智能其他案例ID：217882

酷酷的胡图图🐯

7 年经验· 网易

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

我在博士期间提出推荐算法MMSR，并在github获得20+ start，算法论文发表在CIKM'23， Birmingham.

这个算法中，在序列推荐中，多模态信息（如文本或图像）可以提供更全面的项目资料。然而，如何在早期或晚期阶段将模态特征融合到项目表示中仍然存在争议。我们提出了一种基于图的方法（称为MMSR）来以自适应顺序融合模态特征，使每种模态能够优先考虑其固有的序列特性或其与其他模态的相互作用。

MMSR将每个用户的历史表示为一个图，其中用户历史序列中每个项目的模态特征用交叉连接的节点表示。同类节点之间的边表示模态内的序列关系，而异类节点之间的边则表示模态间的相互依赖关系。在图传播过程中，MMSR结合了双重注意力机制，区分同类和异类邻居。为了自适应地为节点分配不同的融合顺序，MMSR允许通过更新门异步更新每个节点的表示。

在模态表现出较强的序列关系的情况下，更新门优先更新同类节点之间的关系。相反，当模态之间的相互依赖关系更为明显时，更新门优先更新异类节点之间的关系。因此，MMSR建立了一种从早期到晚期模态融合的顺序。在六个数据集上的实验中，MMSR始终优于最先进的模型，并且我们的图传播方法也超过了其他图神经网络。此外，MMSR能够自然地处理缺失的模态。

这个项目展示了我对于信息检索和近代人工智能算法的了解。