图神经网络(gnn)是一类功能强大的神经网络，它对图结构数据进行操作。它们通过从节点的局部邻域聚合信息来学习节点表示(嵌入)。这个概念在图表示学习文献中被称为“消息传递”。

消息(嵌入)通过多个GNN层在图中的节点之间传递。每个节点聚合来自其邻居的消息以更新其表示。这个过程跨层重复，允许节点获得编码有关图的更丰富信息的表示。gnn的一主要变体有GraphSAGE[2]、Graph Convolution Network[3]等。

图注意力网络(GAT)[1]是一类特殊的gnn，主要的改进是消息传递的方式。他们引入了一种可学习的注意力机制，通过在每个源节点和目标节点之间分配权重，使节点能够在聚合来自本地邻居的消息时决定哪个邻居节点更重要，而不是以相同的权重聚合来自所有邻居的信息。

前言

本篇笔记以介绍 pytorch 中的 autograd 模块功能为主，主要涉及 torch/autograd 下代码，不涉及底层的 C++ 实现。本文涉及的源码以 PyTorch 1.7 为准。

大侠幸会，在下全网同名[算法金] 0 基础转 AI 上岸，多个算法赛 Top [日更万日，让更多人享受智能乐趣]

1. 张量（Tensor）基础概念

最近我在自己训练的墙体检测的网络中添加了自注意力，这提高了墙分割的dice分数。我写这篇短文是为了总结cnn的自注意力机制，主要是为了以后可以回顾一下我做了什么，但我也希望对你们有用。

为什么Self-Attention

这篇文章描述了CNN的自注意力。对于这种自注意力机制，它可以在而不增加计算成本的情况下增加感受野。

它是如何工作的

GCN入门代码实战

本文是《深入浅出图神经网络——GNN原理解析》第5.6节的代码，使用GCN实现对节点的分类

代码地址：

https://github.com/FighterLYL/GraphNeuralNetwork/tree/master/chapter5

在PyTorch中有四种类型的乘法运算（位置乘法、点积、矩阵与向量乘法、矩阵乘法），非常容易搞混，我们一起来看看这四种乘法运算的区别。

位置乘法

先构建两个张量a，b他们都是4行5列。

PyTorch 是一个强大的深度学习框架，它以张量（Tensor）为基础数据结构来进行数值计算，而在深度学习中，张量的表达和操作是至关重要的。在 PyTorch 中，张量可以看作是一个高维的数组，它可以存储和处理多维数据。本文将介绍 PyTorch 中的张量与矩阵，并探讨它们在深度学习中的重要性。

一、理解张量

入门

本页提供有关MMDetection用法的基本教程。 有关安装说明,请参阅上一篇的安装文档 。

预训练模型的推论

我们提供测试脚本来评估整个数据集(COCO,PASCAL VOC等)以及一些高级api,以便更轻松地集成到其他项目。

测试数据集

• [x]单个GPU测试

介绍

SimCLR论文(http://cse.iitkgp.ac.in/~arastogi/papers/simclr.pdf)解释了这个框架如何从更大的模型和更大的批处理中获益，并且如果有足够的计算能力，可以产生与监督模型类似的结果。

但是这些需求使得框架的计算量相当大。如果我们可以拥有这个框架的简单性和强大功能，并且有更少的计算需求，这样每个人都可以访问它，这不是很好吗？Moco-v2前来救援。