PyTorch/GCN 从理论到源码分析

PyTorch/GCN 从理论到源码分析

GNN 简介

在 CNN 中,模型的输入数据一般都是固定宽高的数据,比如图片,这类数据在形状上是规则的,称为欧几里得结构化数‘据。而许多重要的现实世界数据集以图表或网络的形式出现:社会网络、知识图表、蛋白质相互作用网络、万维网等,这种数据是不规则的,没有固定形状,称为非欧几里得结构化数据。虽然 CNN 取得了巨大的成功,然而却不能直接把 CNN 应用到这种数据上。近年来一些研究致力于把 RNN 和 CNN 推广到非欧几里得结构化数据,出现了很多新的算法。包括谱卷积和空间卷积,其中Defferrard et al. (NIPS 2016) 基于类神经网络模型学习的自由参数Chebyshev多项式的谱域近似平滑滤波器在 MNIST 数据集上取得了很好的效果。而基于谱卷积 (spectral graph convolutions),衍生出了Kipf & Welling (ICLR 2017),不仅运算更加快速,而且在一些基准数据集上的准确率也更高。

阅读更多
PyTorch/DataLoader 与 DataSet

PyTorch/DataLoader 与 DataSet

人民币 二分类

实现 1 元人民币和 100 元人民币的图片二分类。前面讲过 PyTorch 的五大模块:数据、模型、损失函数、优化器和迭代训练。

数据模块又可以细分为 4 个部分:

  • 数据收集:样本和标签。
  • 数据划分:训练集、验证集和测试集
  • 数据读取:对应于PyTorch 的 DataLoader。其中 DataLoader 包括 Sampler 和 DataSet。Sampler 的功能是生成索引, DataSet 是根据生成的索引读取样本以及标签。
  • 数据预处理:对应于 PyTorch 的 transforms
阅读更多
Papers/图神经网络论文解读:Event-Stream Representation for Human Gaits Identification Using Deep Neural Networks

Papers/图神经网络论文解读:Event-Stream Representation for Human Gaits Identification Using Deep Neural Networks

Title

Event-Stream Representation for Human Gaits Identification Using Deep Neural Networks

Summary

使用 event cameras 进行图像识别、活动识别相比 RGB 摄像机有很多优势。 event cameras 低功耗、计算资源少,采集的数据采样率高,采集速率是毫秒级别的,可以避免运动模糊和快门问题,动态范围更广,可以适应复杂的光线环境。

阅读更多
图像分割介绍

图像分割介绍

图像分割是什么

我们对图像分类比较熟悉,图像分类是指对一张图片进行分类,而图像分割是对每一个像素进行分类。如下所示:

阅读更多
PyTorch/图神经网络 PyTorch Geometric 入门教程

PyTorch/图神经网络 PyTorch Geometric 入门教程

简介

Graph Neural Networks 简称 GNN,称为图神经网络。近年来 GNN 在学术界受到的关注越来越多,与之相关的论文数量呈上升趋势,GNN 通过对信息的传递,转换和聚合实现特征的提取,类似于传统的 CNN,只是 CNN 只能处理规则的输入,如图片等输入的高、宽和通道数都是固定的,而 GNN 可以处理不规则的输入,如点云等。 可查看【GNN】万字长文带你入门 GCN

阅读更多
PyTorch/二十二种 transforms 图片数据预处理方法
PyTorch/模型创建步骤与 nn.Module

PyTorch/模型创建步骤与 nn.Module

张量的操作

这篇文章来看下 PyTorch 中网络模型的创建步骤。网络模型的内容如下,包括模型创建和权值初始化,这些内容都在nn.Module中有实现。


阅读更多
PyTorch/图片预处理 transforms 模块机制

PyTorch/图片预处理 transforms 模块机制

PyTorch 的数据增强

我们在安装PyTorch时,还安装了torchvision,这是一个计算机视觉工具包。有 3 个主要的模块:

  • torchvision.transforms: 里面包括常用的图像预处理方法
  • torchvision.datasets: 里面包括常用数据集如 mnist、CIFAR-10、Image-Net 等
  • torchvision.models: 里面包括常用的预训练好的模型,如 AlexNet、VGG、ResNet、GoogleNet 等
阅读更多
Papers/Graph-Based Object Classification for Neuromorphic Vision Sensing 论文解读

Papers/Graph-Based Object Classification for Neuromorphic Vision Sensing 论文解读

Title

Graph-Based Object Classification for Neuromorphic Vision Sensing

Summary

NVS 可以显著提高采样率,同时显著提高能量效率和对光照变化的鲁棒性。然而 NVS 不使用帧表示图像,所以不能利用最先进的循环神经网络(CNNs)。我们提出了一个基于 NVS 的紧凑的图表示,并使用结合残差网络来做分类,这种残差 Graph CNN 保持了尖峰事件的时空一致性,同时需要较少的计算和存储。 现在所有的图像识别的数据都是来源于 CMOS APS。然而 APS 的传感对于机器学习系统来说是很麻烦的,因为它的帧速率有限,帧间冗余度高,在变化的光照下快门调整缓慢而模糊,并且需要高功率。

阅读更多
Papers/2019 ICCV 最佳论文 -- SINGAN