论文解析七： GNN与GCN（图神经网络）一站式详细讲解

有两种类型的图片

数据如何表示图片？ 1。您如何将图片表示为图片

假设有一个高度和宽度为244的RGB三通道图。一般而言，它将表示为三维张量（输入卷积神经网络时使用张量），但也可以将其视为图形，每个像素的每个像素是一个点。如果两个像素之间存在连接关系，则将连接到边缘。

下图显示了如何将图片表示为图片

2。如何将文本表示为图表？

文本可以被视为序列，每个单词都可以表示为顶点，因此每个单词和下一个单词之间都有一个定向的边缘（上一个单词和下一个单词之间有一个定向的边缘，这被称为图中的有名路径）

除了可以表示为图片的文本和图片外，还有许多数据在现实生活中也可以表示为图片：

下图显示了分子的示意图

小说中字符之间的互动图（关系网络）

另一个常见的图片

图片中可以问什么样的问题？

有三个主要级别：图形级别，顶点级别和边缘级别。

层级别

下图的左侧是一些原始数字。任务是找出包含两个环的数字（给定一个数字，然后对数字进行分类）

在顶点级别

假设上图是上述空手道俱乐部的社会关系图。如果有一天有两名老师分手，所有学生都必须站在两位老师身上（站在某个老师的一边）

在边缘水平

给定图片，首先通过语义分割来删除图片中的字符和背景，然后判断字符之间的关系（顶点已经具有它，您需要判断顶点之间边缘的属性）

给定图形，然后预测边缘的属性

通常，有三种类型的问题

在图上使用神经网络的挑战是什么？

在图上使用神经网络的最核心问题是：如何表示图表，以便它们与神经网络兼容。

图片上有四种信息

前三个更容易，因为它们都可以由向量代表。神经网络对矢量友好。问题是如何表示连接。

连通性可以用邻接矩阵表示

但是，使用邻接矩阵来表示连接时存在许多问题。

3。图神经网络GNN

图形神经网络的定义：GNN是图形上所有属性（包括顶点，边缘和全局上下文）的优化转换。这种转换可以维护图的对称信息（对称信息是指以下事实：在以另一种方式对顶点进行排序之后，整个结果不会改变）。以下是传递神经网络的消息（消息传递）。 GNN也可以由其他神经网络描述。这个地方使用信息传输框架。

GNN的输入是图形，输出也是图。它在全球范围内改变了顶点，边缘和边缘的向量，但不会改变图形的连接性（进入图形神经网络后，顶点和边缘的连接信息不会改变）

构建最简单的GNN

如何在最后一层输出中获取所需的预测值？

首先考虑最简单的情况：已知的顶点向量，并对每个顶点进行预测

与一般神经网络没有太大的不同，因为顶点已被表示为向量，然后进行预测，例如上述无人没有手的问题，这实际上是一个简单的二进制分类问题。

如果您进行回归，只需单独输出

如下图所示，给定的最后一层的输出是图形，然后每个顶点进入完全连接的层，然后获得输出，以便将顶点分类

注意：像以前一样，无论有多少个顶点，只有一个完全连接的层（所有顶点都将在一个完全连接的层中共享参数）。在上一个GNN层中，无论图多大，第一层中都有3个MLP。所有的顶点和边缘都共享了MLP，无需分享整个世界。

一个稍微复杂的情况

它仍然对顶点进行预测，但顶点并未表示为向量

**合并：在**和CNN中汇总之间实际上没有太多的基本差异。

收敛操作的方法：平均值（每个向量是按元素平均，对应于卷积神经网络中的平均合并），总和（每个向量都是按元素汇总的，并且总和在卷积神经网络中不多使用），最大值（每个向量均通过元素，元素最大，对应于卷积神经网络中的最大值）

假设一个点没有自己的向量，它如何获得其向量并做出预测？

如上图所示

同样，如果没有边缘的向量只是顶点的向量，但是您想预测每个边缘，如下图所示

最后，如果没有全局向量，但是具有顶点的向量，然后对整个图进行预测

总而言之，无论缺少哪种类型的属性，都可以通过聚合操作获得缺失属性的向量，最后获得预测值。

总结以上的内容，您可以得到一个简单的GNN，如下图所示

那么如何使用图的结构信息？

信息传输，工作原理如下图所示

下图显示了一个顶点。该信息通过邻居（邻居）之间的邻居传输。这是从V到V的ρ的收敛过程，这也是信息传输的最简单过程。

更复杂的是，我以前考虑过。假设没有某些属性，可以从其他属性收集以弥补此属性。同样，无需等到最后一层收集爱游戏登录入口网页版平台，并且可以在边缘和顶点之间收集信息。

下图显示了如何将顶点的信息传递到边缘，然后将边缘的信息传递给顶点。

全球信息

以前有一个问题：因为每次我只看着自己的邻居，假设图形很大并且连接不那么紧，则将需要很长的一步才能将信息从一个点传递到非常远的点。

**解决方案：**添加主节点（或上下文向量），这一点是一个虚拟点，可以连接到所有顶点或所有边缘（在此图中很难说，因为顶点无法连接到边缘爱游体育app下载官网，这是一个抽象的概念）。它实际上是U。UU已连接到V中的所有事物，并且与E中的所有事物相连。最后，当您自己更新U时，您将获取所有顶点信息和边缘信息，最后完成聚合，然后对其进行更新。

在这一点上，这三种类型的属性已经学习了相应的向量，并且这些向量已经在早期阶段传递了很多信息。最后，在做出预测时，您只能使用自己的向量，或者采用相邻边缘的向量，甚至可以采用与之相邻的顶点的向量以及全局向量。也就是说，不仅使用自己的向量，而且还要采用其他相关的事物来一起做出预测。

4。相关技术

除了上面提到的数字外，实际上还有许多其他数字，如下图所示

如何采样和批处理图？

假设有很多层，即使最后一层的顶点只着眼于邻居，最后一个顶点也有许多消息传输层，因此实际上可以看到一个大图。当图形连接足够时，最后一个顶点可能会看到整个图的信息。

计算梯度时，整个正向中的所有中间变量都需要保存。如果最后一层的顶点想查看整个图，则意味着在计算梯度时，需要保存它，这会导致计算量太大，因此需要对图进行采样。

采样方法

随机抽样：获取子图

以上四种采样方法最好使用哪种取决于整个图片的外观。

如何批次？

从性能的角度来看，每个顶点都不会逐步更新它。这样，每个步骤的计算量太小，这不利于并行性。希望像其他神经网络一样将小样品分成小批量，以操作大型矩阵或张量。

感应偏见

任何神经网络或任何机器学习模型都有假设

比较不同的聚合操作

聚合操作包括求和，平均或最大，但没有一个特别理想。

没有一个聚合操作比另一个更好，也就是说，这三个聚合操作是相似的，因此在实际应用中爱游戏ayx官网登录入口，我们应该分析哪个更合适。

GCN作为子图的函数近似

GCN是一个图形卷积网络，它是上述收敛操作的图形神经网络。

复制点和边缘

图理论：点可以变成边缘，边缘可以变成点，并且邻接关系表示不变。这种转换也可以在GNN上使用

图形卷积与矩阵乘法之间的关系（如何有效实现整个图形神经网络的关键点）

图表上的卷积或随机工作相当于取出其邻接矩阵并制作矩阵乘法

图表网络图形注意机制

在图表上收敛时，将每个顶点及其相邻顶点的权重加在一起，但是如果是卷积，则是加权总和。

类似地，可以在图表上进行加权总和，但是有必要注意，卷积的重量与位置有关（每个3*3窗口中的固定点上都有固定的权重），对于图形，无需位置信息（因为每个顶点的邻居数量保持不变，并且邻居保持不变，并且随机破坏秩序的秩序，并且可以使位置和权重命中率呈现信息，并且可以使位置呈现效率。因此，您可以使用注意机制。重量取决于两个顶点向量之间的关系，而不是顶点的位置。使用注意力后，您可以给每个顶点一个重量

5。评估

写作

图神经网络

图神经网络