©PaperWeekly 原创 · 作者 | 焦鹏飞
单位 | 杭州电子科技大学
研究方向 | 复杂网络、图机器学习
论文作者:焦鹏飞、陈虹茜、鲍青、张旺、吴华明
作者单位:
杭州电子科技大学、天津大学论文链接:
https://ojs.aaai.org/index.php/AAAI/article/view/28701/29358论文代码:
https://github.com/cspjiao/MINDS摘要
信息扩散预测在理解社交网络中信息的传播方面发挥着至关重要的作用,该研究涵盖宏观和微观预测任务。宏观预测估计信息传播的整体影响,而微观预测则侧重于识别下一个受到影响的用户。
之前的研究通常集中在某个任务,很少有研究同时解决这两个问题。这两个任务从不同层面对信息传播过程提供互补见解,二者既有共性又有特性。我们发现利用这两种任务的共同特征来增强信息预测仍然是一个尚未探索的途径。
因此,本文提出了一种直观有效的模型,可以同时解决宏观和微观预测任务。该模型在宏观层面考虑级联之间的相互作用和动态,并在微观层面考虑社交网络中用户的社交同质性。此外,模型引入对抗性训练和正交性约束来确保共享特征的完整性。在四个数据集的实验结果表明,该模型显着优于最先进的方法。在线社交平台已成为我们日常生活的重要组成部分,丰富了人与人之间的即时交流,加快了信息的快速传播。社交网络中用户的活动模式在信息传播中发挥着关键作用,而信息的传播路径形成了信息级联。更深入地了解信息传播的潜在机制具有显着的经济和社会优势,可应用于各个领域,包括假新闻检测、病毒式营销和推荐系统。
如图所示,当前对信息级联建模的研究主要集中在两个方面:
宏观预测:目标是估计级联的增量或最终大小;
微观预测:目标是预测下一个被级联影响的用户。
一方面,宏观预测集中于总体模式和趋势,利用网络拓扑和传播模型来预测信息传播。另一方面,微观预测深入研究个体用户的行为和属性的细节,利用对用户和内容特征的分析来预测信息传播的影响。宏观预测和微观预测提供了对不同层面的信息传播的理解,并且可以相互促进和增强。由于这两项任务都需要从观察到的级联中学习传播特征,因此它们本质上具有共同点。因此,通过提取这些任务之间的共同特征来提高预测准确性至关重要。
然而,提取这些共同特征面临着挑战。首先,信息传播不仅涉及给定级联内的复杂交互,还涉及不同级联之间的复杂交互。此外,由于信息级联是随着时间不断演化的,我们需要一种方法能够捕捉到级联的全局交互和动态变化。其次,在存在私有特征潜在污染的情况下,如何确保共同特征的纯度是一个难题。
据我们所知,只有有限的研究引入了适用于宏观和微观尺度的统一模型。最具代表性的作品是 FOREST 和 DMT-LIC 。然而,FOREST 主要利用微观预测的结果来指导宏观预测,缺乏对这两项任务固有的相辅相成的协同作用的全面认识。同样,虽然 DMT-LIC 结合了共享表示层来捕获级联图表示和扩散过程,但它无法解决共享特征和特定于任务的特征之间的潜在污染和冗余问题。
此外,这两种方法主要集中于单个级联内的用户交互,并没有考虑到全局级联之间复杂的交互和动态变化。
为了解决上述挑战,本文提出了 MINDS,一种简化且高效的多尺度信息传播预测模型。
具体来说,在宏观层面上,MINDS 构建序列超图来有效捕获级联之间的相互作用和动态变化。从全局角度来看,对用户和级联之间的复杂交互进行建模与超图的概念是一致的。通过将时间段划分为顺序时间窗口来构建序列超图可以准确地描述级联的动态演化。
在微观层面上,MINDS 专注于学习社交网络中用户之间的社交同质性。我们设计了一个共享模块来学习宏观和微观任务的共享特征,并结合对抗性训练和正交性约束来减轻共享特征和特定任务特征之间的特征冗余和污染。
总的来说,本文的主要贡献有三点:我们进行了全面的实验来评估 MINDS 模型的性能。证明了其在宏观和微观预测方面均优于最先进的方法。
MINDS 模型的架构概述如图所示,其中包括四个主要模块:
3.1.2 超图神经网络
为了同时考虑级联之间的全局相互作用和级联的动态变化。在构建的序列扩散超图的基础上,我们引入 HGNN 来学习每个时间段的用户全局交互,并在两个连续时间段之间添加融合层来对级联动态进行建模。在每个时间间隔,我们通过 HGNN 学习用户全局交互。HGNN 的过程如下图所示。超图中的消息传递可以概括为两个阶段:1)从顶点到超边;2)从超边到顶点。 1. 从顶点到超边:给定一个扩散超图 ,HGNN 的第一阶段旨在通过聚合其所有连接顶点的信息来更新超边 的特征 ,可以定义为:其中 是 , 是由超边 连接的顶点集。 是与超边 的权重。我们认为每条级联都具有同等重要性,所以在聚合时为每个超边赋予相同的权重,即 。2. 从超边到顶点:在更新超边的特征之后,第二阶段的目标是聚合 参与的所有超边的信息,以在第 个时间间隔更新 的特征 。更新过程可以定义为:其中 是由顶点 连接的超边集。 是 层的可训练参数。通过集成遗忘门、输入门、更新记忆单元和输出门,共享 LSTM 可以有效处理微观特征和宏观特征之间的复杂关系。我们最终从共享 LSTM 中获得了宏观预测任务和微观预测任务之间共享特征的综合表示,表示为 。3.3.3 对抗性训练尽管共享—私有 LSTM 旨在学习共享和特定于任务的特征,但无法保证共享特征不会污染私有特征空间,反之亦然。因此,一个简单的原则可以应用于共享 LSTM,即可靠的共享特征应主要由公共信息组成,而不包含任何特定于任务的信息。受对抗性网络的启发,我们引入对抗性训练来解决这个问题。我们设置一个任务鉴别器 ,它将特征映射成概率分布,来估计该特征来自哪些任务。为了防止特定任务的特征污染共享特征,我们设计了一个任务对抗性损失,表示为 。该损失函数用于训练模型,使得生成的共享特征不容易被鉴别器区分。任务对抗性损失 定义如下: 表示共享 LSTM 中的所有参数, 表示任务类型(宏观或微观)。优化过程可以概括为:共享 LSTM 生成一个表示来迷惑任务鉴别器。随着训练的进行,共享特征提取器和任务鉴别器逐渐达到收敛点,最终,任务鉴别器逐渐无法区分该特征究竟来自哪类任务。此时共享特征提取器提取到了真正的共享特征。
4.1 数据集
我们在 Christian、Android、Douban 和 Memetracker 四个数据集上进行了实验。4.2 Baseline
我们共计对比了13个代表性模型。其中宏观预测模型5个,微观预测模型6个,多尺度预测模型2个。4.3 评估指标对于宏观预测,我们使用均方对数误差(MSLE)作为评估指标。对于微观预测,我们使用两个排名指标:前 k 的平均精度(MAP@k)和前 k 的点击分数(Hits@k)进行评估。4.3.1 实验结果宏观预测结果如下图:微观预测结果如下图: ▲ 微观预测结果1 ▲ 微观预测结果2在本文中,我们提出了一种精简而有效的多尺度传播预测模型 MINDS,能够同时处理微观和宏观预测。MINDS 通过构建序列超图从宏观角度捕获级联之间复杂的影响和动态变化。同时从微观角度学习社交网络中的隐式结构和用户特征。然后采用共享 LSTM 来提取宏观任务和微观任务之间的共同特征,并引入对抗性训练和正交性约束确保这些共享特征的纯度。两类任务的预测结果证明了 MINDS 的有效性。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧