四时宝库

程序员的知识宝库

基于PyTorch的目标检测工具箱,商汤联合港中文开源mmdetection

近日,商汤和港中文联合开源了 mmdetection,这是一个基于 PyTorch 的开源目标检测工具包,属于香港中文大学多媒体实验室 open-mmlab 项目的一部分。该工具包支持 Mask RCNN 等多种流行的检测框架,读者可在 PyTorch 环境下测试不同的预训练模型及训练新的检测分割模型。

项目地址:https://github.com/open-mmlab/mmdetection

CV中的Attention和Self-Attention

1 Attention 和 Self-Attention

Attention的核心思想是:从关注全部到关注重点

Attention 机制很像人类看图片的逻辑,当我们看一张图片的时候,我们并没有看清图片的全部内容,而是将注意力集中在了图片的焦点上。大家看下面这张图自行体会:

对于CV中早期的Attention,通常是在通道或者空间计算注意力分布,例如:SENet,CBAM。

图注意力网络论文详解和PyTorch实现

图神经网络(gnn)是一类功能强大的神经网络,它对图结构数据进行操作。它们通过从节点的局部邻域聚合信息来学习节点表示(嵌入)。这个概念在图表示学习文献中被称为“消息传递”。

消息(嵌入)通过多个GNN层在图中的节点之间传递。每个节点聚合来自其邻居的消息以更新其表示。这个过程跨层重复,允许节点获得编码有关图的更丰富信息的表示。gnn的一主要变体有GraphSAGE[2]、Graph Convolution Network[3]等。

图注意力网络(GAT)[1]是一类特殊的gnn,主要的改进是消息传递的方式。他们引入了一种可学习的注意力机制,通过在每个源节点和目标节点之间分配权重,使节点能够在聚合来自本地邻居的消息时决定哪个邻居节点更重要,而不是以相同的权重聚合来自所有邻居的信息。

分享一波实用的PyTorch常用代码段

1、固定随机种子

Bash
torch.manual_seed(0)
torch.cuda.manual_seed_all(0)

2、指定程序运行在特定 GPU 卡上

PyTorch 源码解读之 torch.autograd:梯度计算详解

前言

本篇笔记以介绍 pytorch 中的 autograd 模块功能为主,主要涉及 torch/autograd 下代码,不涉及底层的 C++ 实现。本文涉及的源码以 PyTorch 1.7 为准。

算法金 | 这次终于能把张量(Tensor)搞清楚了!


大侠幸会,在下全网同名[算法金] 0 基础转 AI 上岸,多个算法赛 Top [日更万日,让更多人享受智能乐趣]

1. 张量(Tensor)基础概念

卷积神经网络中的自注意力(卷积神经网络训练思想)


最近我在自己训练的墙体检测的网络中添加了自注意力,这提高了墙分割的dice分数。我写这篇短文是为了总结cnn的自注意力机制,主要是为了以后可以回顾一下我做了什么,但我也希望对你们有用。

为什么Self-Attention

这篇文章描述了CNN的自注意力。对于这种自注意力机制,它可以在而不增加计算成本的情况下增加感受野。

它是如何工作的

GCN入门代码实战(gcode g代码详解)

GCN入门代码实战

本文是《深入浅出图神经网络——GNN原理解析》第5.6节的代码,使用GCN实现对节点的分类

代码地址:

Bash
https://github.com/FighterLYL/GraphNeuralNetwork/tree/master/chapter5

PyTorch张量的四种乘法运算(六年级上册分数乘法简便运算20道)

在PyTorch中有四种类型的乘法运算(位置乘法、点积、矩阵与向量乘法、矩阵乘法),非常容易搞混,我们一起来看看这四种乘法运算的区别。

位置乘法

先构建两个张量a,b他们都是4行5列。

PyTorch:张量与矩阵(张量的rank)

PyTorch 是一个强大的深度学习框架,它以张量(Tensor)为基础数据结构来进行数值计算,而在深度学习中,张量的表达和操作是至关重要的。在 PyTorch 中,张量可以看作是一个高维的数组,它可以存储和处理多维数据。本文将介绍 PyTorch 中的张量与矩阵,并探讨它们在深度学习中的重要性。

一、理解张量

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言
    友情链接