近日,商汤和港中文联合开源了 mmdetection,这是一个基于 PyTorch 的开源目标检测工具包,属于香港中文大学多媒体实验室 open-mmlab 项目的一部分。该工具包支持 Mask RCNN 等多种流行的检测框架,读者可在 PyTorch 环境下测试不同的预训练模型及训练新的检测分割模型。
项目地址:https://github.com/open-mmlab/mmdetection
2024年09月22日
近日,商汤和港中文联合开源了 mmdetection,这是一个基于 PyTorch 的开源目标检测工具包,属于香港中文大学多媒体实验室 open-mmlab 项目的一部分。该工具包支持 Mask RCNN 等多种流行的检测框架,读者可在 PyTorch 环境下测试不同的预训练模型及训练新的检测分割模型。
项目地址:https://github.com/open-mmlab/mmdetection
2024年09月22日
Attention的核心思想是:从关注全部到关注重点。
Attention 机制很像人类看图片的逻辑,当我们看一张图片的时候,我们并没有看清图片的全部内容,而是将注意力集中在了图片的焦点上。大家看下面这张图自行体会:
对于CV中早期的Attention,通常是在通道或者空间计算注意力分布,例如:SENet,CBAM。
2024年09月22日
图神经网络(gnn)是一类功能强大的神经网络,它对图结构数据进行操作。它们通过从节点的局部邻域聚合信息来学习节点表示(嵌入)。这个概念在图表示学习文献中被称为“消息传递”。
消息(嵌入)通过多个GNN层在图中的节点之间传递。每个节点聚合来自其邻居的消息以更新其表示。这个过程跨层重复,允许节点获得编码有关图的更丰富信息的表示。gnn的一主要变体有GraphSAGE[2]、Graph Convolution Network[3]等。
图注意力网络(GAT)[1]是一类特殊的gnn,主要的改进是消息传递的方式。他们引入了一种可学习的注意力机制,通过在每个源节点和目标节点之间分配权重,使节点能够在聚合来自本地邻居的消息时决定哪个邻居节点更重要,而不是以相同的权重聚合来自所有邻居的信息。
2024年09月22日
1、固定随机种子
torch.manual_seed(0)
torch.cuda.manual_seed_all(0)
2、指定程序运行在特定 GPU 卡上
2024年09月22日
本篇笔记以介绍 pytorch 中的 autograd 模块功能为主,主要涉及 torch/autograd 下代码,不涉及底层的 C++ 实现。本文涉及的源码以 PyTorch 1.7 为准。
2024年09月22日
大侠幸会,在下全网同名[算法金] 0 基础转 AI 上岸,多个算法赛 Top [日更万日,让更多人享受智能乐趣]
2024年09月22日
最近我在自己训练的墙体检测的网络中添加了自注意力,这提高了墙分割的dice分数。我写这篇短文是为了总结cnn的自注意力机制,主要是为了以后可以回顾一下我做了什么,但我也希望对你们有用。
这篇文章描述了CNN的自注意力。对于这种自注意力机制,它可以在而不增加计算成本的情况下增加感受野。
2024年09月22日
GCN入门代码实战
本文是《深入浅出图神经网络——GNN原理解析》第5.6节的代码,使用GCN实现对节点的分类
代码地址:
https://github.com/FighterLYL/GraphNeuralNetwork/tree/master/chapter5
2024年09月22日
在PyTorch中有四种类型的乘法运算(位置乘法、点积、矩阵与向量乘法、矩阵乘法),非常容易搞混,我们一起来看看这四种乘法运算的区别。
先构建两个张量a,b他们都是4行5列。
2024年09月22日
PyTorch 是一个强大的深度学习框架,它以张量(Tensor)为基础数据结构来进行数值计算,而在深度学习中,张量的表达和操作是至关重要的。在 PyTorch 中,张量可以看作是一个高维的数组,它可以存储和处理多维数据。本文将介绍 PyTorch 中的张量与矩阵,并探讨它们在深度学习中的重要性。
一、理解张量