@TOC

【论文阅读｜浅读】DeepEmLAN: Deep embedding learning for attributed networks

前言

Hello！十分感谢您阅读海轰的文章，倘若文中有过错的当地，欢迎您指出～毛遂自荐 ଘ(੭ᵕ)੭ 昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入核算机专业，取得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研。学习经历：厚实基础 + 多做笔记 + 多敲代码 + 多考虑 + 学好英语！唯有尽力

知其然知其所以然！

本文仅记载自己感兴趣的内容

简介

原文链接：www.sciencedirect.com/science/art…

期刊：Information Sciences （CCF B类）

年度：2020/07/08

abstract

网络嵌入的目的是学习网络中组件的低维表明，一起最大极限地保存网络的结构和固有特点

其有效性已在各种实际运用中得到证明

可是，现有的大多数有特点网络的研讨都不能灵活地探究多类型特点和语义联络

为了处理上述问题，咱们提出了一种依据深度模型的特点网络嵌入学习办法——DeepEmLAN

它经过深度留意模型将不同类型的特点信息滑润地投射到同一语义空间
一起坚持语义空间的拓扑结构

此外，咱们规划了一种启示式组合战略来生成终究的嵌入，使节点在表明空间中同享更多的街坊、类似的文本丰厚或符号特点

1. Introduction

网络嵌入被称为网络表明学习(Network representation learning, NRL)，其目的是用低维向量表明网络的组成部分(如节点、边、子图等)，其间网络的拓扑和特点被最大极限地保存

因为各种机器学习办法都能够很简单地处理低维向量，网络嵌入已经成为一个十分抢手的研讨范畴，引起了极大的重视

它见证了近年来网络嵌入在各种运用中的成功

DeepWalk [21]， LINE[25]和Node2vec[7]被遍及认为是强大的办法，并运用于各种运用中
NetMF[23]是最近的一项研讨，它从理论上证明了现有的负采样模型能够一起为封闭矩阵的因式分化
可是，直接结构和分化如此密布的矩阵在时刻和空间上都是十分昂贵的，这使得它无法对大型网络进行扩展

为了处理这一问题，咱们提出了NetSMF[22]算法，能够有效地对密布矩阵进行稀少化，然后大大提高嵌入学习的功率

但上述办法都是针对节点和边类型单一的同构网络规划的。

事实上，现实国际的网络要杂乱得多，不只包括多种类型的节点和边，并且还包括丰厚的特点集

依据网络拓扑结构和特点，咱们将同构网络分为两种类型:简单网络和特点网络，如表1所示

它与最近的研讨成果[5]基本一起，[5]是专为归属异构网络规划的

不同的是，咱们一起考虑了多类型特点和特点中躲藏的语义联络，规划了一个依据特点同构网络的深度嵌入学习模型

值得一提的是，特点网络是[16]中最重要的网络之一。

从表1能够看出，咱们重视的是特点网络的嵌入学习

不同网络中的特点可能指的是不同的内容

例如，在社交网络中，特点可能是用户的意见或谈论; 而在引文网络中，特点能够是论文的主题或关键词

此外，标签(如组或社区类别)是离散的，本质上能够视为一种重要特点

在许多杂乱的网络分析使命中，考虑这些信息往往有助于咱们提高功能

例如辨认高影响力用户[24]，社区检测[11,35]和链接猜测[31,6]等

因为嵌入学习的重要性和应战，已有大量文献企图研讨依据特点网络的嵌入学习

TADW[33]，经过矩阵分化将节点的文本特征融入NRL进程。可是模型只能处理文本特点
AANE[9]模型，将节点的特点近度散布到NRL进程中进行建模。可是，该模型是在无监督模式下练习的，不能运用网络中的判别标签
LANE[10]能够在保存不同细节之间相关性的一起，将标签信息滑润地纳入到特点网络嵌入中。但因为矩阵运算量大，学习功率低

确实，上述算法本质上是线性模型，不足以捕捉杂乱网络中的非线性信息联络

因而，近年来一些嵌入算法中引进了深度学习理论，以坚持网络中杂乱的联络

SEANO[15]被规划为一种概括式深度学习结构，用于联合学习保存拓扑、特点和标签信息的鲁棒表明
CANE[27]是依据留意机制开发的，用来学习在一个有特点网络中节点的更具区分性的表明

据咱们所知，还没有人致力于以一种有效的办法探究多类型特点和语义联络

在本文中，咱们开发了一个一起的深度模型来捕获丰厚的特点信息和拓扑结构

DeepEmLAN的练习进程包括三个部分，别离侧重于保存拓扑、特点和标签的信息

并且，这三个组成部分是紧密联络、彼此作用的

经过对节点之间的一阶和二阶附近度建模来获取拓扑信息
选用留意机制对文本特点进行处理，捕捉节点在与不同街坊交互进程中的不同人物
经过多级非线性映射，运用第二部分得到的彼此留意向量对节点的标签进行猜测

此外，参数的调整与不同的元素，使嵌入更习惯后续的机器学习使命

最终，咱们提出了一种启示式办法，将练习进程中取得的暂时向量结合起来，生成每个节点的终究表明向量

这项作业的首要贡献总结如下:

咱们提出了一个一起的深度模型，经过一起考虑多类型特点和语义联络来学习网络中每个节点的表明向量。该模型能够保存和平衡不同类型信息发生的彼此影响
咱们提出了一种启示式组合办法来生成每个节点的终究表明。它能够使节点在表明空间中同享更多的街坊和类似的文本或符号丰厚的特点。
咱们在多个实在数据集的多标签分类和网络重建使命上广泛评价了提出的DeepEmLAN。实验结果表明，DeepEmLAN模型的功能明显优于竞争基线。

2. Related work

网络表明学习(Network representation Learning，简称NRL)，简称网络嵌入，因为其重要的意义，近年来受到了广泛的重视

许多NRL算法已经被提出来学习网络中组件的有效表明

典型的NRL办法是经过保存网络中节点之间的拓扑类似性来学习表明

拓扑类似性包括部分拓扑中的一阶[1]、二阶[25]和高阶[7,20,21]附近性

此外，为了进一步保存大局拓扑信息或大局和部分拓扑[37]，还做了一些很大的尽力

[29,26,3]选用自编码器模型来捕捉节点表明之间的非线性联络。
[32,4]中考虑了介观群落结构，以增强表征在大局拓扑中的区分能力
此外，为了描绘节点之间的多个方面的类似度，提出了学习多个条件网络表明[30]的MCNE

可是，它们大多侧重于保存拓扑信息，而疏忽了网络中躲藏的丰厚特点

最近的一些尽力探究了集成特点以学习更多信息表明的可能性

提出TADW[33]，经过矩阵分化将节点的文本特征融入NRL进程
规划了AANE[9]模型，将节点的特点近度散布到NRL进程中进行建模
在留意机制的基础上规划了CANE[27]，以学习特点网络中节点的更具区分性的表明
LANE[10]是将标签信息滑润地加入到特点网络嵌入中，一起保存它们的相关性。依据图学习，规划了一种用于微视频组织的结构化多模态字典学习结构INTIMATE[17]
SEANO[15]被规划为一个半监督概括学习结构，一起学习保存拓扑信息、特点和标签的鲁棒表明
此外，针对特点网络规划了依据图卷积神经网络的办法。提出了一种可扩展的依据图卷积神经网络的半监督学习办法——GCN[13]
GraphSAGE[8]经过学习不同深度的邻域节点的聚合器来生成未见数据的节点嵌入
规划了GAT[28]作为图结构数据的图留意网络。选用自界说留意机制，为街坊分配不同的权重
提出了一种依据gcn学习的多视图表明交互嵌入模型V2HT[14]用于微视频标签推荐

这些作业能够有效地运用于节点分类、团体检测、信息传播[18]等各种使命中

3. Problem formulation

本文中运用的一些表明

Definition 1 (Homogeneous Network)

同构网络是只有一个类型化节点和边的网络

它通常被表明为图 $G = (V, E)$ ，其间

$V$ 是节点的调集
$E$ 是节点之间的边的调集

Definition 2 (Attributed Network)

将一个特点网络[9]界说为图 $G = (V, E, A)$

其间每个节点 $\in V$ 与一种或几种类型的特点相相关，例如文本、标签等

$\cup^c_{i=1}A_i$ 是 $c$ 类特点的调集
其间 $Ai={ai,j∣vj∈V}A_i = \{a_{i, j}| v_j \in V\}$ 是所有节点第 $i$ 类特点的调集
$a_{i,j}$ 是节点 $v_j$ 的相关特征向量

A的大约意思就是：这是一个多特点网络，一共有c种特点，每个特点上面顶点都可能有对应的特点

依据上述界说，咱们将特点网络嵌入问题方式化为:

Problem 1 (Attributed Network Embedding)

给定一个归属网络 $G = (V, E, A)$ 作为输入，方针是学习一个映射函数 $\rightarrow r_v \in R^d$ ，其间

$r_v$ 是对节点 $v$ 学习到的低维密布向量
$d$ 是学习到的嵌入维数
$d < < ∣ V ∣$
函数 $f$ 的目的是一起保存原始网络中的拓扑信息和多类型特点

4. The proposed method

4.1. The framework

在本文中，咱们的方针是规划一个新的一起嵌入模型的特点网络，以有效地坚持和平衡这些特点

[3]中指出，深度学习有利于对杂乱的非线性联络进行建模，并已成功运用于包括网络嵌入在内的各种运用或范畴

受此启示，咱们提出了一个依据深度学习的模型来捕获节点特点之间的非线性联络

此外，节点在与不同的相邻节点交互时，往往表现出不同的方面，称为语义联络[27]

对这种联络进行建模能够发生更具区分性的表明

因而，咱们进一步将留意力机制引进深度学习模型，以捕获躲藏在特点中的语义联络

此外，经过对节点之间的一阶和二阶拓扑类似性建模来学习拓扑表明

为了集成拓扑信息和特点信息的影响，咱们能够直接将不同部分学习到的嵌入进行衔接

可是，这种办法往往会导致不同类型的表明分隔练习，各种信息之间的影响无法平衡

为了更好地结合这些表明并使其习惯后续的机器学习使命，咱们规划了一个具有不同部分权重系数的大局丢失函数

经过调整这些系数，能够有效地获取和平衡多类型特点和拓扑信息

依据以上思想，咱们首要为提出的DeepEmLAN模型规划了一个结构，如图1所示

该结构首要由三部分组成:

(1)保存拓扑的嵌入
(2)保存嵌入特点
(3)生成终究表明

4.2. The topology-preserved embedding

经过对节点之间的一阶和二阶近邻建模来学习保存拓扑的表明

一阶挨近度表明网络中两个节点之间的部分两两挨近

坚持挨近度的方针函数界说在式(1)中，其间

$p_1(n_i,n_j)$ 表明两个节点之间的两两概率
$w_{ij}$ 表明节点 $i$ 与节点 $j$ 之间边的权值，默认值为1

概率 $p_1(n_i,n_j)$ 依据式(2)核算，其间

$VitV^t_i$ 为节点 $i$ 保存的拓扑信息向量

二阶附近性表明两个节点的邻域之间的附近性，即同享多个邻域的两个节点在表明空间上更挨近

因而，需求为每个节点增加一个额外的辅佐向量，因为一个节点被认为是其他节点的特定“上下文”

对应的方针函数界说在式(3)中

$p_2(n_j,n_i)$ 表明节点 $i$ 生成节点 $j$ 的条件概率（大约意思就是节点 $j$ 是节点 $i$ 的上下文的概率吧）

式

p_2(n_j,n_i)

界说为式(4)

其间

$VitV^t_i$ 表明节点 $i$ 的拓扑信息保存向量
$VzctV^{ct}_z$ 为节点 $z$ 的“上下文”向量

咱们进一步将两个方针函数 $J_{t1}$ 和 $J_{t2}$ 合并为一般方针 $J_t$ ，如Eq.(5)所示

方针是学习 $Vt∈R∣V∣(2/d)V^t \in R^{|V| \times (2/d)}$ ，是节点的表明矩阵，以保存拓扑信息

4.3. The attributes-preserved embedding

在本节中，咱们规划了一个深度学习模型来保存网络的文本丰厚和符号特点

图2说明了生成咱们需求的嵌入的办法的首要思想

关于每个节点对 $n_i, n_j)$ 和对应的文本特点向量 $(1,i,1,j)(\alpha_{1,i}, \alpha_{1,j})$ 在归属网络 $G = (V, E, A)$ 中

咱们首要经过Tensorflow中的embedding_lookup为每个节点 $n_i$ 生成文本丰厚的特点矩阵 $Atti∈RmmAtt_i \in R^{m \times m}$

其间 $m$ 表明特点中关键字的嵌入维度。

接下来，运用余弦函数核算文本特点级别的节点对 $n_i, n_j)$ 的附近度，如公式(6)所示

然后，经过将特点矩阵乘以余弦类似向量 $C (i, j)$ 来生成重视向量，如公式(7)所示

因而，彼此留意向量 $R (i, j)$ 由两个留意向量相加得到，即 $R(i,j) = u_i + u_j$ ，其间上述两个节点之间的特定语义联络得到保存

其间

SUM表明对矩阵逐行求和；
$Att_i$ 表明节点 $i$ 的特点矩阵；
$⊙\odot$ 表明两个矩阵的元素乘积；

因为标签与文本特点有着内在的联络，咱们经过猜测部分进一步将这类信息相关起来

如图2所示，猜测部分从彼此重视向量开始

经过几个非线性映射层，终究得到猜测的标签向量 $si,j\hat s_{i,j}$ 非线性映射层在方程(8)中得到方式化描绘

方针是最小化猜测向量 $si,j\hat s_{i,j}$ 和实在标签向量 $s_{i,j}$ 之间的距离

应该留意的是: $s_{i,j}$ 是其间非零方位对应于节点 $n_i$ 和节点 $n_j$ 的标签索引的二进制向量

最终，经过对重视向量进行均匀来生成每个节点的特点信息保存表明 $Via∈R1(2/d)V^{a}_i \in R^{1 \times (2/d)}$ 如等式(9)所示

其间

$l^{(k)}$ 为 $k$ 层中的躲藏向量；
第 $k$ 层权重矩阵和偏置向量别离为 $W^{(k)}$ 和 $b^{(k)}$ ；
$t a n h (x) = (1 - e x p (- e x)) / (1 + e x p (- 2 x))$

这个进程中的方针函数能够分为三个部分，如公式(10)所示

这三个部别离离侧重于保存文本特点与三种类型信息之间的联络。每一部分的方针如公式(11)所示

其间 $p$ 是条件概率，与公式(4)相同

经过调整三个部分的权重 $(,,)(\alpha, \beta, \mu)$ 能够平衡深度学习模型的整体作用

4.4. The heuristic combining strategy for generating final representations

经过上述进程，为网络中的每个节点学习了保存了拓扑信息、文本丰厚和符号特点信息的表明

接下来，咱们将这两种类型的表明衔接为暂时向量，即

$Viat=Vit⊕Via,Viat∈R1dV^{at}_i = V^t_i \oplus V^a_i, \quad V^{at}_i \in R^{1 \times d}$

咱们提出了一种启示式组合战略来生成终究的表明向量 $i\Phi_i$

启示式战略取得同享相同标签的节点街坊的暂时向量的均匀值，如公式(12)所示

最终，同享相同标签的节点和更多的街坊被放置在表明空间中更近的方位

如公式(13)中所示，给出了DeepEmLAN模型的总体方针函数。

该方针首要由拓扑信息坚持方针 $J_t$ 和特点信息坚持方针 $J_a$ 两部分组成，经过联合练习方针函数来一起坚持拓扑信息、文本信息和标签特点信息

运用Adam[12]对方针函数进行优化

此外，为了减少优化进程中概率核算的开销，咱们选用了负抽样的办法

4.5. Model optimization

在优化进程中，咱们选用了负抽样的办法来减少概率核算的开销

关于练习会集的每个边 $\in E$ ，主张的模型的每个部分的丢失能够核算如下：

自习惯矩估计(ADAM)[12]用于优化方针函数

依据梯度的一阶和二阶矩估计，adam动态调整每个参数的学习率

其首要长处是误差修正后的每一次迭代的学习率固定在必定范围内，使得参数的变化相对安稳

咱们联合优化等式中的目标(14)

在每一次迭代中，所提出的模型中的参数的更新如公式(15)所示

其间 $\eta$ 是参数的自习惯学习率

因而，经过联合学习，不同类型的特点信息能够被投影到相同的语义空间中

4.6. The algorithm and complexity analysis

5. Experiments

….

5.4. Experimental results on the task of multi-label classification

5.4.1. The contributions of different modules

5.4.2. Parameter sensitivity analysis

5.5. Experimental results on the task of network reconstruction

5.6. Case study: t-SNE 2-D representations on Cora

6. Conclusion and future work

本文提出了一种特点网络的嵌入学习办法：

它能够经过深度留意模型将不同类型的特点和拓扑结构滑润地投射到同一语义空间中，一起最大极限地保存这些信息
此外，规划了一种启示式办法来生成终究的表明，使得节点在表明空间中同享更多的街坊，类似的文本丰厚和符号的特点更挨近
实验结果表明，DeepEmLAN在几个实在数据集上的多标签分类使命上的功能优于最新的办法

因为该模型是针对静态特点网络而规划的，不适用于具有时变拓扑和特点的在线网络

在未来的作业中，咱们将研讨不同类型动态网络的在线嵌入办法，包括动态特点同构网络、动态特点异质网络

读后总结

开始读这篇文章的时候，是十分懵的

基本上没有看懂

后边渐渐仍是看懂了（只是大约流程看懂了细节方面没有仔细看）

首要，咱们明确方针，终究需求学习的嵌入是 $∈R∣V∣d\Phi \in R^{|V| \times d}$

再学习 $\Phi$ 之前，咱们需求学习 $VT∈R∣V∣dV^T \in R^{|V| \times d}$

之后对 $V^T$ 进行进一步的核算，然后得到 $\Phi$

$V^T$ 由两部分组成，即 $V^T = V^t +V^a$

$Vt∈R∣V∣(2/d)V^t \in R^{|V| \times (2/d)}$ 表明经过一阶、二阶拓扑结构学习得到的嵌入
$Va∈R∣V∣(2/d)V^a \in R^{|V| \times (2/d)}$ 表明经过特点学习得到的嵌入

得到 $V^T$ 之后，再运用同享相同标签的节点街坊（也就是凭借标签这一性质来使得相同标签嵌入得更近）核算得到 $\Phi$

这样就相当于保存了拓扑结构、特点以及标签三种性质

$V^t$ 的求解不难， $V^a$ 这里思路不难，这是很多当地仍是有点不懂，比如这个 $C (i, j)$ 怎样确定？ ….

仍是有值得学习的当地，比如最终不是运用直接组合得到的嵌入，而是又经过必定的组合办法来得到新的嵌入，更好的保存结构

结语

文章仅作为个人学习笔记记载，记载从0到1的一个进程

希望对您有一点点帮助，如有过错欢迎小伙伴指正

我正在参与技术社区创作者签约计划招募活动，点击链接报名投稿。

【论文阅读｜浅读】DeepEmLAN: Deep embedding learning for attributed networks

前言

简介