一文揭开图机器学习的面纱，你确认不来看看吗
近年来，因为图数据结构对实体间联系建模 的强壮表征才能和可解释性，在图上运行一些传统机器学习算法或深度学习算法已成为人工智能领域的 焦点分支。
在现实生活中，咱们有许多不规则的数据，例如：在交际、电商、交通，甚至在生物学、高能物理学等领域以及日常社会经济生活中，咱们用到的大都是实体间的联系数据，而这些联系数据中 隐含了许多可挖掘 的信息 。
马克思主义唯物辩证法曾说：世界上的事物都不是孤立存在的，而是 普遍联系 和 永久发展 的。因为 万物互联 ，这些事物经过巨大的 结点和互相间杂乱的交互联系 ，构成了特有的 图结构，而事物之间存在联系则能够 建模成图 ，咱们就能够运用图这种数据结构来灵敏的建模而且学习应用它们。
留意：本文这儿所说的图机器学习算法涵盖了图深度学习部分，图深度学习部分第三末节有讲解。
一般，咱们会在 图数据结构上 跑一些机器学习/深度学习的使命，一般来说，首要包含 节点和边 的 分类和回归使命以及整图猜测。
(1) 节点的分类与回归： 一般用于猜测给定节点的类型。例如：一个用户为反常用户的可能性，以及某个人的消费才能猜测。
(2) 边的分类和回归： 咱们一般用于猜测某2节点之间是否有边以及边的权重大小。例如：猜测抖音上一个人是否会评论某条抖音以及他评论的情感的正负，或则京东上一个人购买某个产品的可能性以及会买几件等。
(3) 整图猜测:
咱们一般能够把用于给定2个图，剖析两者的类似性质，或则猜测生物大分子的特性。
本来只计划写一个 图算法总述，后来发现越写越多，一些内容分隔又嫌少，仍是挤一挤到当时文章吧，不管了，就这样吧。
仅对图的 Graph Embeding 感爱好的同学，能够直接阅览第三末节哦。万字长文，能够点赞保藏把作为根底常识回忆与图常识的总述运用哦～
本文是作者开始写的关于 图机器学习 的第一篇小作文，以后会连续的记载一些在 图上运用机器学习与深度学习 进行一些 分类与回归 使命 的相关文章和常识点，欢迎重视我的大众号：算法全栈之路 了解后续吧。
下面让咱们开始本文的阅览吧 ～
(1) 图根底简介
首要，关于 图结构 ，信任咱们许多学过核算机课 数据结构 的同学都不会陌生。它和咱们在 数据结构 书上学到的行列、栈、树结构等相同，便是一种普通的数据结构，他们都是建模 item 之间联系的数据结构，不过行列、栈甚至树等对数据的 组织方法 做了一些根底性限制，而图相关于行列等这些根底数据结构，仅仅愈加杂乱而已，可是依然 摆脱不了 根底数据结构 的特性。
这儿这样说，首要是希望咱们读者 不要把 图数据结构 想象的十分杂乱和高不可攀，以至于 “谈图色变” 。就算是图是一个 魅力十足 的大美女，也让咱们先揭开她的 奥秘面纱 一睹它的芳容，并在接下来一段时间里，逐步剖析她、了解她，直到终究征服她！ so , let us go !!!
(1.1) 图的结构特性
书接上文，咱们知道： 图也是数据结构的一种，而且 它是一组 目标(节点) 及其 联系(边) 进行建模所构成的一种多对多 的数据结构。
在核算机科学中，图是有节点(极点) 和 节点之间的边 所组成的，它一般表明为 G(V,E) 。 其间 G 表明一个图，V是图G中节点的调集，E是图G中边的调集。图能够长这样：
(1.2) 图的分类
现实中事物之间的联系是 杂乱且品种繁复 的，图也是如此。咱们能够依据图的各种特性，进行简略的分类。
(1) 图上边有无方向，分为 有向图和无向图。
有向图意味着这种联系是单方面的，类似于微博的重视联系和航站之间是否有航班的联系。
无向图这种联系则是互相的，类似于互相是朋友联系。描绘对称与非对称联系。
（2) 节点和边类型是否只要一种，分为同构图和异构图
同构图(Homogeneous Graph) , 类似于简略交际网络中，表明唯一类型节点和边的用户和用户是否类似的图则为同构图。
异构图 (Heterogeneous Graph), 图中节点类型和边类型超过两种的图称为异构图。
（3）多重图
在多重图中，同一对节点之间能够有多条（有向）边，包含自循环的边。
例如：两名作者能够在不同年份一起署名文章， 这就带来了具有不同特征的多条边。
(4) 特点图
图的 节点和边是否带有特点 特征。在咱们的图中，节点和边均能够带有多个不同类型的特点。
假定图中有一个用户节点，则该节点能够带有年龄、性别、图片、群体、消费才能，爱好等特点，能够是标量，也能够是向量, 甚至能够是图片和音乐这种比较杂乱的数据。
假定图中有一条用户指向产品的边，则这个边上能够携带用户点击该产品的点击率，购买率，用户购买该产品供给的gmv 以及爱好等特点。
相同，这些特点也能够是标量或向量。带权图和标签图仅仅特点图的一种简略方法。
以上各种图分类之间是能够混乱组合的，好比咱们一起组合出 有向异构特点多重图，那这个图能够拟合联系的才能是十分全面而且强壮的。
(1.3) 图的特点
这儿，咱们只简略列出常用的几个特点，如下：
(1) 度(Degree)
连接极点的边的数量称为该 极点的度 D(v)。无向图只要度，有向图有入度和出度之区别。特点图又有根据某种联系的度，例如用户登录联系的度，包含用户用ip登录，设备登录，邮箱登录多种联系的度的和。
（2）途径(Path)与简略途径
顺次有序遍历极点序列构成的轨道称为途径。没有重复极点的途径称为简略途径，包含相同极点相同的途径2次以及以上的极点称为环。这儿又能够分为有环/无环图。
留意：添加自环能够有用缓解图联系的稀少性。
（3）连通性与强连通性 无向图中若每一对不同的极点之间都存在途径，则该无向图是连通的。若这个条件在有向图里也建立，那么便是强连通的。
(1.4) 图的存储
从上文中，咱们知道：图是一种比较杂乱的数据结构。为适应图数据的CRUD，选用的存储结构有：邻接矩阵、邻接表、十字链表等。
(1) 邻接矩阵
存储了极点与极点之间是否有边存在，顺便极点数组和边数组。无向图的邻矩阵是对称阵，行和列的和是即为极点的度。有向图的邻矩阵是非对称阵，行为出度和列为入度。邻接矩阵能够推出度矩阵。
(2) 邻接表和逆邻接表
为了方便邻接点个数的增减，多选用链表存储。极点用专用数组存储，指针指向链表的开始地址。有向图的邻接表只存储了出度极点。逆邻接表存储了入度极点。临接表关于无向图是十分完美的数据结构。
(3) 十字链表 也叫正交链表, 为了存储有向图专门规划的一种数据结构，整合了邻接表和逆邻接表。每个极点设置2个指针域，即极点表数组的每个极点有指向入边表的指针也有指向出边表的指针。
假如说图太大单机存不下的话 (例如百度跑一切网页的pageRank算法)，对图的结点和边进行分区存储，然后用spark开发整个图的存储与音讯传递核算的进程。例如: 腾讯的spark on angel 结构, 百度的spark on paddle 结构。
中心又触及到到图分区战略，边切分仍是极点切分。其间，边分区要求同一个极点出去的边在同一个分区，极点分区要求同一个边的2个极点在同一个分区。
到这儿咱们图根底简介就说完了，下面开始 图上传统机器学习算法的阐述吧 ～
(2) 图上传统机器学习算法
咱们在图数据结构上，能够开发整个图的存储与音讯传递核算的进程，完结一些传统的机器学习类算法。下面简略罗列一些在spark GraphX里包含的算法。
(2.1) PageRank算法
该算法能够在任何有向图中进行每个极点权值的核算，也能够运用该算法进行 网页排名 ，找出重要的图节点。Pagerank专利归于斯坦福，商标归于Google。
算法描绘：
(1) 用 1/N的页面排名值初始化每个极点，N是图中极点总数。
(2) 循环：
- 每个极点沿着动身边发送PR值1/M，M为当时极点的出度。
- 当每个极点从相邻极点收到其发送的PR值后，合计这些PR值后作为当时极点的新PR。
- 图中极点的PR与 上一个迭代比较没有明显的改变，则退出迭代。
算法变种引进了按捺因子(resetProb), 随机拜访页面，而不是当时拜访页面链接出去的。
图上音讯传递原理关键字： 极点发送音讯、 相邻点收到音讯、合计收到的值更新自己的值。
(2.2) 衡量连通性：三角形数
咱们不光能够运用 pagerank 度量单个极点的影响力，咱们也能够经过核算三角形数以衡量图或则子图的连通性，也便是极点如何一起互相影响。
三个极点均有边互相联系。图和子图有越多的三角形则连通性越好，这个性质能够用于确认小圈子(图中有许多互相相关的部分)。能够用于引荐，也能够辨认垃圾邮件。
假如说一个人对许多有边，可是这许多人之间却没边，则不会构成三角联系。
(2.3) 查找最少的跳动：最短途径（ShortestPaths)
咱们能够运用图上内置的最短途径算法来核算跳动数，并以及跳动顺序回来间隔。 咱们能够得到图上任意两个节点之间的最短间隔，没有连通的点间隔为无穷大。
(2.4) 找到孤岛人群：联通组件 (ConnectedComponents)
连通组件能在交际网络图中找到一些孤立的小圈子，并把他们在数据中心网络中区别隔。连通组件算法与有向图与无向图都有相关。
(2.5) 标签传达算法(LabelPropagation Algorithm)
在 LPA 算法中，节点的标签完全由它的直接街坊决议。标签传达算法是一种根据标签传达的部分社区发现算法，其根本思维是节点的标签（community）依赖其街坊节点的标签信息，影响程度由节点类似度决议，并经过传达迭代更新到达稳定。
(2.6) Louvain算法
Louvain算法是社区发现领域中经典的根据模块度最优化的办法，且是现在市场上最常用的社区发现算法。社区发现旨在发现图结构中存在的类簇。
综上所述： 图上的传统机器学习算法大致能够分为 途径查找算法、中心性算法 以及 社群发现算法等。其间途径查找算法包含 DFS & BFS、最短途径、 最小生成树、随机游走等；而 中心性算法包含 DegreeCentrality、 Closeness Centrality、BetweennessCentrality、PageRank 等; 社群发现算法: Measuring、Components、Label Propagation , Louvain Modularity 等。
咱们能够灵敏选择各种算法，建模自己事务中遇到的问题。
如果发现上述这些问题都没有办法把问题解决或则解决问题的作用不行好，能够接着试试下面的 graph embeding 相关的算法 呢！！！
(3) Graph Based-on Embeding 的若干算法
继 Goole 于 2013年在 word2vec 论文中提出 Embeding 思维之后，各种Embeding技能层出不穷，其间涵盖用于自然语言处理( Natural Language Processing, NLP)、核算机视觉 (Computer Vision, CV ) 以及查找引荐广告算法(简称为：搜广推算法 )等。
在曾经的一篇文章 深入浅出了解word2vec模型 (理论与源码剖析) 中咱们现已知道： embedding 能够把了解为用一个一维度的浮点数组 (tensor) 来表明某一个item目标(单词或则用户等)，两个item之间的语义联系核算能够用 他们的embeding 核算来代替。
这种根据Graph 发生 Embeding 的规划思维不只能够 直接用来做图上节点与边的分类回归猜测使命外，其导出的 图节点embeding 也可作为练习该使命的中心产出为其他下流使命服务。
而图算法最近几年最新的发展，都是围绕在 Graph Embedding 进行研究的，也称为 图表明学习(Graph Representation Learning ,GRL)。
图表明学习, 望文生义，是从图上学习到各个 节点或则边的嵌入(Embeding)表明, 是表明学习和图结构数据相结合发生的办法，其目的是：将高维稀少的图结构数据映射到低维稠密向量，一起来捕获网络拓扑结构及网络中节点的内涵特征。
在这儿，咱们必需要刺进很重要的一点便是 ： 现在咱们日常能接触到 传统机器学习/深度学习 和 图机器学习 以及 强化学习 的 样本 是有一些明显差别的。咱们知道传统的 机器学习/深度学习 ，例如 前面一些文章提到的 点击率预估等模型 用到的样本，都是根据一个强假定，即：IID准则。三者的对比联系如下：
传统机器学习：样本独立同散布（Independent Identically Distribution,IID）,是指样本是从同一个数据散布里屡次随机且独立的重复采样得到。
图机器学习：样本不独立，样本间互相相关，依必定办法构建了图结构。
强化学习：样本不独立，样本之间有时序上的前后相关。上一步的action发生的reward和下一步的action与reward在最初的数据集假定上有互相相关。
而进两年的图表明学习，从分类上又能够大致把分红2类： 根据游走的图结构表明学习 和 根据卷积的图深度表明学习。
(3.1) 根据游走的图结构表明学习
应该知道，咱们这儿所说 根据游走 是指在现已建好的 逻辑图 上面去以 某种办法遍历某些节点而得到一些节点序列 的办法。 根据随机游走采样节点的图表明学习比较经典的完结有以下几种，分别是：Deepwalk 、 Node2Vector 以及 LINE。
再此之前咱们需要明确一点便是： 根据游走的图结构表明算法 是一种根据邻域类似假定的算法，受启发于 word2vector 来学习节点的向量表明。
(3.1.1) Deepwalk 算法
Deepwalk 算法，又称为 深度游走算法。它经过随机游走的办法提取极点序列，依据序列中极点和极点之间的共现联系(Co-occurrences) 来学习向量表明, 能够说随机游走是整个Deepwalk 最重要也最具有开创性的一部分算法。
随机游走是一种可重复拜访已拜访节点的深度优先遍历算法。关于给定图中的某个节点，随机从街坊节点中抽取一个节点作为下一个拜访点，直到拜访序列到达预设长度。
阿里巴巴的论文 Graph Embedding with Side Information（GES) 在 deepwalk 算法的根底上，引进了 item 的附属信息 来练习图嵌入, 能够解决产品冷启的问题，也是一种 deepwalk 算法 很经典且有用的拓宽应用。
综上所述: Deepwalk 运用随机游走算法在图上获得序列，运用 Word2Vec 中的 Skip-Gram 算法来学习节点的Embedding, 是一种很经典的 Walk + Skip-Gram Loss 的架构。
(3.1.2) Node2Vecter 算法
咱们知道，图和其他如行列、栈、树等根底数据结构相同，也具有 可遍历 的性质。咱们在图上有目的的遍历算法又能够两种： 深度优先(DFS) 与 广度优先(BFS) 。
广度优先(DFS) 能够获得 每个节点的一切街坊，强调的是 部分微观视图; 而 深度优先(BFS) 则倾向于探究更大的网络结构，只要从更高的视点才能观察到更大的集群, 具有 大局视界 的潜质。
Node2Vector 在游走办法上对随机游走算法进行了改进，规划了一种灵敏的街坊节点抽样战略，它允许用户在BFS 和DFS之间进行平衡。其具体公式如下图所示：
其间：P 为回来参数，q为进出参数 。p,q 分别操控着当时在街坊节点中采样的概率。
咱们从上述公式也能看出：Node2Vec 算法引进了两步随机游走算法： 第一步从节点t 走到节点v, 第二步从节点v游走到其街坊节点，如 x1,x2,t 等。节点v 跳转到其街坊节点的概率不再是随机散布的，而是依据节点t 和节点x 一起决议， 能够表明为 f( vt+1 / vt, vt-1 ) , 这儿是依据节点 t 与节点 x 的最短途径来确认。
咱们能够想象一下，咱们处于 节点v 的方位，x 表明下一个节点，t表明上一个节点。x到t的间隔有三种：0、1和2。0表明回到来的节点，1表明停留在当时节点，2表明去向当时方位下一个和来的节点不同的街坊节点。这儿需要结合上面的公式以及公式建立的条件，仔细想清楚采样逻辑。
综上所述： 关于 node2vec算法来说，也是根据上面提到的 Walk + Skip-Gram Loss 的架构。 其间&&改进的采样办法决议着在图上得到的行走序列，近一步决议着练习的嵌入的重点**。
(3.1.3) LINE 算法
LINE 算法的全称是：Large-scale Information Network Embedding ，其是关于上述两种算法的更进一步的改进。
书接上文，上文介绍的 Deepwalk 和 Node2Vector 算法 均只考虑了 成边的极点之间的类似度，并未对不成边极点之间联系的建模。 而本末节介绍的 LINE算法 即考虑了成边极点对之间的联系(称为局域类似度)，也考虑了未成边极点对之间的类似度(称为大局类似度)。
LINE算法为图的局域类似度和大局类似度规划了专门的度量函数，适用于无向图与有向图。
在line算法的建模进程中，该算法的局域类似度用 一阶类似度(First-order Promimity ) 描绘, 表明图中直接相连的节点之间的类似度。其建模公式如下图所示：
其间：公式表明的是 Vi 、Vj 之间的一阶联合概率。
该算法的 大局类似度 用 二阶类似度(Second-order Proximity) 来衡量 2个节点的街坊之间的类似度。二阶类似度假定那些具有相同街坊节点的节点在特征上较为类似，直观来说，便是拥有同享街坊的节点更为类似。其建模公式如下图所示：
对上面的公式，咱们能够这样来通俗了解： 对某个节点，另一个节点有多大概率是它的街坊(条件概率散布)以及是否实在数据集中是它的街坊(经验散布)，这2个散布要间隔尽可能的小。其实便是学习的假如他们的街坊类似的话，让他们本身的embeding也尽可能的类似。
综上所述： LINE算法经过合并一阶和二阶类似的优化目标完结终究的模型的优化，而并不紧紧根据有边存在的节点对。
(3.1.4) 异构图 Metapath 学习
上面所说的算法，一般都是在同构图上进行采样节点的算法，当然咱们也能够直接把 异构图转成同构图 用相同的办法来学习各个节点之间的联系，可是这样也就失去了构建异构图时更细腻的不同节点类别本身带有的信息。例如：把用户和产品用相同的建模办法，总归是不合理的。
在具体实践中，为了分辩异构图特点，引进了 元途径(meta-path) 的概念。元途径是在 异构图G上按照元途径方法 N1 -R1-> N2 -R2->N3 来游走发生途径。其间 N表明节点类型，R表明边联系类型。具体如下图所示：
咱们知道：元途径游走是一种有偏游走。而根据元途径游走也发生了2种相关的算法，分别是： MetaPath2Vector 算法和 MetaPath2Vector++ 算法。
MetaPath2Vector 算法是根据 Metapath + Skip-Gram Loss 架构。 MetaPath2Vector 在 SoftMax 环节中没有分辩极点类型，而是将一切极点视作一致类型的极点，也便是说在负采样环节采样的负样本并没有考虑极点的类型。
而 MetaPath2Vector++ 则在softmax环节中，依据不同类型的极点的上下文进行了归一化，也便是说给 Skip- Gram模型 每种节点类型 拟定特定的负采样调集，进行了更细粒度的负采样操控。
(3.2) 根据卷积的图深度表明学习
提到 图卷积 (Graph Convolutional Network , GCN) 算法， 不得不提到 卷积算法的应用场景 与 运用图算法的数据特性。
(3.2.1) 图卷积根底常识预备
(1) 欧几里得数据和非欧几里得空间数据的概念
现实生活中有许多不规则的数据，例如在交际，电商，交通等领域中，用到的大都是实体之间的联系数据。这些数据经过巨大的结点和担任的交互联系，构成了特有的图结构，这种结构是非欧几里得空间数据。
这儿咱们需要区别下 欧几里得数据 和 非欧几里得空间数据的概念。
欧几里得数据： 它是一类具有很好的平移不变性的数据。关于这类数据以其间一个像素为节点，其街坊节点的数量相同。所以能够很好的界说一个大局同享的卷积核来提取图画中相同的结构。常见这类数据有图画、语言等。
而 非欧几里得数据，它是一类不具有平移不变性的数据。这类数据以其间的一个为节点，其街坊节点的数量可能不同。常见这类数据有常识图谱、交际网络、化学分子结构等等。
当然，咱们也能够用CV 中填充图片的 pading办法来对节点街坊进行填充，可是假如说每个节点都需要不同粒度的填充的话，那实际完结是根本不可行的, 而且也没必要。
这儿咱们能够看到：图并不像图画中有着固定的街坊，图画上的卷积办法并不能在图上直接套用。 现实中，算法工程师们的创新总是无穷无尽的。所以该问题就有了以下的解决思路：把非欧空间转换成欧式空间, 找出一种可处理变长街坊节点的卷积核。
(2) 图与拉普拉斯矩阵
拉普拉斯算子 是 n维欧式空间 中的一个二阶算子，但如果将算子退化到离散二维图画空间，变成了 边际检测算子。
拉普拉斯算子描绘 中心像素与部分上下左右四街坊像素 的差异，这个性质能够用作图画上边际检测算子。在图信号中，拉普拉斯算子也被用来描绘中心节点与街坊节点之间的信号差异。
在N个节点的图G=(V,E) 中，拉普拉斯界说为 L= D – A 。 其间D为 图G的 度对角矩阵，D = diag(d(v1),…d(vn))
A(G)=(aij)是 图的 邻接矩阵。拉普拉奇界说为：度对角矩阵减去邻接矩阵。
咱们能够知道: 拉普拉斯矩阵含有图的结构信息，作用能够了解为把非欧几里得空间数据用能够类似于欧几里得空间的处理办法进行处理。
(3) 谱域卷积与空域卷积
传统含义上的 傅立叶改换 是 时域到频域 的改换，而这种改变是经过一组 特殊的正交基 完结。结合上文所说的拉普拉斯矩阵，咱们用 拉普拉斯矩阵表明图 , 它有一个很好的性质是： 傅里叶改换需要 基底ewit, 这个用拉普拉斯矩阵的 特征分化函数 就完结了 两者的结合。
谱卷积神经网络 便是直接依据 全图傅立叶卷积界说 的，其有一个缺陷便是难以从卷积方法中确保节点的信息更新由近处街坊奉献，即无法确保部分性，且练习核算度大。
这儿，咱们又要引进 切比雪夫网络 的概念，它与谱卷积神经网络最大的不同便是： 不需要在对拉普拉斯矩阵进行特征分化，不用做全图的卷积核算，而且它的卷积核具有严格的空间部分性，仅仅考虑了中心节点的K阶街坊作为邻域节点。
而下文要提到的 图卷积(CCN) 则是只考虑一阶切比雪夫多项式的算法。**空域卷积(spatial Convolution)**则是从街坊节点信息聚合的视点动身，愈加重视节点的局域环境。
图卷积算法中，咱们将 邻接矩阵 与 节点的特征向量 相乘，本身具有聚合街坊节点信息的特点，现已一起具有 空域与谱域 的含义。
(3.2.2) 图卷积介绍
书接上文，咱们先来说说最简略的 图卷积网络(GCN）,
咱们知道：空域卷积与卷积神经网络的规划理念类似，其间心在于聚合街坊节点的信息，直接将卷积操作界说在每个节点的链接联系上。
通俗点了解，GCN实际上跟CNN的作用相同，便是一个 特征提取器，只不过它的特征提取目标是图数据。
其间，D担任供给权值的矩阵，邻接A矩阵操控应该交融哪些点, H表明上一层的embedding参数。 当然，咱们在练习完结模型之后，拿到embeding之后能够灵敏运用，进行下流的分类和回归使命。
这儿咱们需要留意: GCN正常层数只需要2–5层即可。 因为节点每更新一次，感触野就变大一些，如果网络太深，那么每个节点就会受无关节点的影响，有些节点的学习会有趋同的趋势，引起 过滑润 问题，导致终究目标作用反而下降。
(3.2.3) Graph Sage介绍
Graph Sage 全称为：Graph Sample And AGGregate, 便是 图采样与聚合。
在图神经网络中，节点扮演着样本的人物。
从前文咱们现已了解到：在传统深度学习中，样本是 IID 的，这使得 丢失能够拆分为独立的样本奉献，能够选用小批量的优化算法来并行处理总的丢失函数。
可是图的样本之间是有着联系的，早期的GCN等网络都是选用全批次梯度下降办法进行练习，这种办法需要存储整个图的邻接矩阵。
2017 年提出的 Graph Sage 算法，根据GCN 街坊聚合的思维，但并不是把悉数街坊聚合在内，而是聚合部分街坊，随机采样街坊K跳的节点。全街坊采样中给出了节点的抽取1跳和2跳的方法，而GraphSage只用抽取固定个数的近邻。如下图所示：
该算法的中心过程是：Sample 和 Aggregate
sample : 采样，从内到外，选择固定个数的近邻，不行就重复采样
aggregate：聚合，从外到内 ，聚合被采样到的那些节点的embedding , 因为街坊节点也构成了一个embeding 序列，不光能够直接Sum求和，能够运用各种聚合办法，例如：max ,mean , lstm , transform 等。
留意： Graph Sage 算法本质上是 采样生成一个个小的子图 进行练习，部分更新，也能够对未呈现节点的猜测。
(3.2.4) 异构图的卷积(RGCN)
前文所说的GCN均是针对 同构图 的算法，而为了 捕捉不同节点的不同的联系 情况，工程师们又规划了根据异构图联系的卷积算法RGCN，全称是： Relation Graph Convolution Neural Networks。
其间：R 的个数也便是边类型的个数，论文中称为relation-specific。 其区别在于RGCN中，通往一个节点的不同边能够代表不同的联系。
在普通的GCN中，一切边同享相同的权重W。在R-GCN中，不同类型的边只要同一种联系才会运用同一个权重。
在上面公式中，咱们能够看到：公式运用了 权重矩阵用于交融异构图中节点不同的街坊联系 。已然街坊节点又许多，能够构成一个序列，那咱们是否能够学习出 不同类型的街坊占据有不同的权重奉献程度 呢？ 类似于起到一个 Attention 的作用？ 这就与下文咱们提到的 GAT算法 与 HAN算法 有关了。
(3.2.5) Attention相关算法 GAT 与 HAN
从上文咱们能够知道： GCN 首次提出了 卷积的办法交融图结构 特征，供给一个全新的视角。
可是，它也有一些清楚明了的首要缺陷：
(1) 交融时 边权值固定 的，不行灵敏。(2) 可扩展性差，因为它是全图卷积交融，全图做梯度更新，当图比较大时，这样的办法就太慢了，不合适。(3) 层数加深时，结果会 极简单过滑润 ，每个点的特征结果都十分类似。
针对上面提出的缺乏，GAT 能够解决问题1 ，GraphSAGE 能够解决问题2，DeepGCN等一系列文章则是为了缓解问题3做出了不懈努力。
首要说说GAT，咱们知道 GCN每次做卷积时，边上的权重每次交融都是固定的，能够加个 Attention，让模型自己学习 边的权重，这便是GAT网络了，下面是 中心Attention 的界说公式：
同理，HAN 针对异构图的不同类型权重交融进行了更进一步的精心规划，如下图所示：
从上图能够看到：HAN是一个 两层的attention架构，分别是 节点级其他attention 和 语义级其他attention。
前面咱们现已介绍过 metapath 的概念，这儿咱们不在赘述，不理解的同学能够翻看 本文章前面的内容。
Node Attention: 在同一个metapath的多个街坊上有不同的重要性。
Semantic Attention: 多个meta path有不同的重要性。
在进行 图传达核算 的进程中，首要 固定metapath的类别 i ，经过 节点级其他attention 将中心节点的根据 i 的街坊节点进行聚合，得到每个metapath的特征向量 Zi ，然后再经过 语义级其他attention 将特征向量 Z 进行聚合，得到终究的特征向量 Z 。终究经过一个MLP得到这个节点的猜测值 yi 。
(3.3) 图上音讯传元语 MPNN
咱们在完结图算法完结的时分，必不可少的便是要弄理解图上音讯传达的核算逻辑，这儿介绍一下 MPNN ，全称是：Massage Passing Neural Network 。
咱们都知道 tensorflow 或则 pytorch 是 DNN深度学习结构，而完结 Graph Embeding 算法则需要运用 图深度学习/机器学习结构。根据 tensorflow 的图深度学习结构，这儿引荐阿里巴巴 GraphLearn, 曾经也叫AliGraph, 能够根据docker 进行环境建立，简单上手。而 根据 pytorch 的图深度学习结构，这儿则引荐亚马逊的 DGL ( Deep Graph Library ), 其完善而又通俗易懂的中文官方文档，简直是我的独爱，强烈引荐！！！
后边 咱们的图机器学习/深度学习代码也根据 dgl 来完结 。首要这的音讯传递元语说明，也是根据dgl。
dgl的音讯传递范式 如下：
图上现已说的十分具体，我就不在赘述了。
一起，咱们能够运用dgl的根底音讯范式进行咱们自己网络特征处理流程里音讯传递进程的界说，举个栗子如下：
@ 欢迎重视微信大众号：算法全栈之路
def message_func(edges):
return {'he': edges.src['hu'] + edges.dst['hv’]}
# 引荐: dgl.function.u_add_v('hu', 'hv', 'he')
def reduce_func(nodes):
return {'h': torch.sum(nodes.mailbox['m'], dim=1)}
# 引荐：dgl.function.sum('m', ’h‘)
# 独自调用逐边核算:
graph.apply_edges(fn.u_add_v('el', 'er', 'e’))
# 综合函数,引荐:
graph.update_all(fn.u_mul_e('ft', 'a', 'm'), fn.sum('m', 'ft'))
如上文所示：Update_all() 参数是一个音讯函数、一个聚合函数和一个更新函数。 更新函数update() 是一个可选择的参数，用户也能够不运用它，而是在 update_all 履行完后直接对节点特征进行操作。
因为更新函数一般能够用纯张量操作完结，所以DGL不引荐在 update_all 中指定更新函数。
到这儿，一文揭开图机器学习的面纱，你确认不来看看吗 ? 的全文就写完毕了，后边会针对更具体的图上使命结合进行讲解～
码字不易，觉得有收成就点赞、分享、再看三连吧~
欢迎重视作者的大众号： 算法全栈之路
