原文地址：cf020031308.github.io/papers/2021…

这篇文章从图网络的边中蒸馏常识，使 MLP 在图节点分类任务上达到了 GNN 的表现。
不传递音讯、不运用邻接矩阵天王矩阵、在边集上操练，因此空间占用低、分类速度快。

此外，作者还从随机点对中蒸馏“逆边”的常识，进矩阵的迹一步进步了模型的作用。

方法

分叉 MLP

一般的图神经网络方法（GNN）依据音讯传递方法，运用街坊节点传递来的音讯帮助中心节点的分类。
那么反过来说，任一节点中应含有其街坊节点的部分信息。

因此结构分叉 MLP：github从 MLP 的倒数第二层分叉出另一个输出层，为与原输出层相差异称为“推理层”。
分叉 MLP 承受一个节点的特征作为输入，输出该节点和它街坊节点的标签分布。

边蒸馏（矩阵天王Link Dgithub是干什么的istillation）

设对任一边 (vi,vj)(v_i, v_j)，节点 viv_i 和 vgithub下载jv_j 的特征分别为 x矩阵乘法ix_i 和 xjx_j，通过分github是干什么的叉 ML矩阵P 得到 zi,siz_i, s_igithub中文社区 和 zj,sjz_j, s_j，节点标签为 yiy_i 和 yjy_j。

则依据分叉 MLP 的规划，可让 ziz_i 和 sjs_j 迫临 yi矩阵相乘怎样算y_i，让 zjz_j 和 sis_i 迫临 yjy_j，最小化它们的穿插熵。
一起，让 ziz_i 迫临 sjs_j，让 zjz_j 迫临 sis_矩阵类似i，最小化它们的矩阵类似过错（MSE）。
前者是惯例的监督学习，github直播渠道永久回家而后者能够github中文官网网页看作是在做自知矩阵的逆识蒸馏。

从比照链接中蒸馏自常识：非音讯传递的图节点分类

随机点对的比照蒸馏

如果随机采样一对节点，这对节github点之间就（大概率）不能凭仗分叉 MLP 互相推导了。
因此用比照学习的思路，最大化一个节giti轮胎点的标签和另一个节点的推理层输出之间的穿插熵，一起最大化一个矩阵类似节点的输出层输出和另一个节点的推理层矩阵的逆输出矩阵游戏。

从比照链接中蒸馏自常识：非音讯传递的图节点分类

两种分类方法

分叉 MLP 操练好后，能够将推理层丢掉变回一个经典的 MLP 结构，输入节点特征对节点进行分类。
这种模型依据是否对github直播渠道永久回家逆边做比照蒸馏命名为 CoLinkDist矩阵的秩MLgit教程P 和 LinkDistMLP。

别的，也能够保存推理层，将输出加到街坊节点上，github开放私库进步街坊节点的分类准确率。
但这样一来，就相当于又用上音讯传递方法了。
这种模型依据是否对逆边做比照蒸馏在文章中称为 CoLinkDist 和 LinkDist。

试验

做了归纳式、转导式和全监督三种设置下 8 个常用图数据集的节点分类试验，比照的基准除了 MLP 和 GCN 以外，还有 GCN2MLP 代表用操练好的 GCN 模型蒸馏得到的 MLP。

半监督、归纳式：

从比照链接中蒸馏自常识：非音讯传递的图节点分类

半监督、转导式：

从比照链接中蒸馏自常识：非音讯传递的图节点分类

全监督（转导式）：

从比照链接中蒸馏自常识：非音讯传递的图节点分类

试验作用

  1. 即github直播渠道永久回家使仅仅是 LinkDistMLP，也挨近乃至超过了 GCN 的表现，阐明这种方法操练出的 MLP 确实能达到 GNN 的作用
  2. 用上音讯传递和比照蒸馏能进一步进步模型作用
  3. GCN2MLP 在半监督时作用比 GCN 还要好，但在全监督时可用于蒸馏的常识矩阵类似不多，github永久回家地址最终表现跟 MLP 差不多

此外，还用了 Open Graph Benchmark 的数据集进行节点分类试验

从比照链接中蒸馏自常识：非音讯传递的图节点分类