Python/python 使用 concurrent.futures 多进程注意事项

Python/python 使用 concurrent.futures 多进程注意事项

线程池和进程池

concurrent.futures 是 Python3.2 加入标准库的一个模块,它提供异步执行回调高层接口,是对线程池和进程池的进一步封装,让开发者可以使用统一的接口非常容易的使用线程池和进程池。

这个模块中有两个核心的类:ThreadPoolExecutor (线程池)和ProcessPoolExecutor(进程池)。

阅读更多
PyTorch/DataLoader 与 DataSet

PyTorch/DataLoader 与 DataSet

人民币 二分类

实现 1 元人民币和 100 元人民币的图片二分类。前面讲过 PyTorch 的五大模块:数据、模型、损失函数、优化器和迭代训练。

数据模块又可以细分为 4 个部分:

  • 数据收集:样本和标签。
  • 数据划分:训练集、验证集和测试集
  • 数据读取:对应于PyTorch 的 DataLoader。其中 DataLoader 包括 Sampler 和 DataSet。Sampler 的功能是生成索引, DataSet 是根据生成的索引读取样本以及标签。
  • 数据预处理:对应于 PyTorch 的 transforms
阅读更多
TfidfVectorizer、CountVectorizer 和 TfidfTransformer 的简单教程

TfidfVectorizer、CountVectorizer 和 TfidfTransformer 的简单教程

TfidfVectorizer、CountVectorizer 和 TfidfTransformer 是 sklearn 中处理自然语言常用的工具。TfidfVectorizer 相当于 CountVectorizer + TfidfTransformer。 下面先说 CountVectorizer

CountVectorizer

CountVectorizer 的作用是将文本文档转换为计数的稀疏矩阵。下面举一个具体的例子来说明(代码来自于官方文档)。

阅读更多
Papers/图神经网络论文解读:Event-Stream Representation for Human Gaits Identification Using Deep Neural Networks

Papers/图神经网络论文解读:Event-Stream Representation for Human Gaits Identification Using Deep Neural Networks

Title

Event-Stream Representation for Human Gaits Identification Using Deep Neural Networks

Summary

使用 event cameras 进行图像识别、活动识别相比 RGB 摄像机有很多优势。 event cameras 低功耗、计算资源少,采集的数据采样率高,采集速率是毫秒级别的,可以避免运动模糊和快门问题,动态范围更广,可以适应复杂的光线环境。

阅读更多
图像分割介绍

图像分割介绍

图像分割是什么

我们对图像分类比较熟悉,图像分类是指对一张图片进行分类,而图像分割是对每一个像素进行分类。如下所示:

阅读更多
PyTorch/图神经网络 PyTorch Geometric 入门教程

PyTorch/图神经网络 PyTorch Geometric 入门教程

简介

Graph Neural Networks 简称 GNN,称为图神经网络。近年来 GNN 在学术界受到的关注越来越多,与之相关的论文数量呈上升趋势,GNN 通过对信息的传递,转换和聚合实现特征的提取,类似于传统的 CNN,只是 CNN 只能处理规则的输入,如图片等输入的高、宽和通道数都是固定的,而 GNN 可以处理不规则的输入,如点云等。 可查看【GNN】万字长文带你入门 GCN

阅读更多
PyTorch/二十二种 transforms 图片数据预处理方法
PyTorch/图片预处理 transforms 模块机制

PyTorch/图片预处理 transforms 模块机制

PyTorch 的数据增强

我们在安装PyTorch时,还安装了torchvision,这是一个计算机视觉工具包。有 3 个主要的模块:

  • torchvision.transforms: 里面包括常用的图像预处理方法
  • torchvision.datasets: 里面包括常用数据集如 mnist、CIFAR-10、Image-Net 等
  • torchvision.models: 里面包括常用的预训练好的模型,如 AlexNet、VGG、ResNet、GoogleNet 等
阅读更多
Papers/Graph-Based Object Classification for Neuromorphic Vision Sensing 论文解读

Papers/Graph-Based Object Classification for Neuromorphic Vision Sensing 论文解读

Title

Graph-Based Object Classification for Neuromorphic Vision Sensing

Summary

NVS 可以显著提高采样率,同时显著提高能量效率和对光照变化的鲁棒性。然而 NVS 不使用帧表示图像,所以不能利用最先进的循环神经网络(CNNs)。我们提出了一个基于 NVS 的紧凑的图表示,并使用结合残差网络来做分类,这种残差 Graph CNN 保持了尖峰事件的时空一致性,同时需要较少的计算和存储。 现在所有的图像识别的数据都是来源于 CMOS APS。然而 APS 的传感对于机器学习系统来说是很麻烦的,因为它的帧速率有限,帧间冗余度高,在变化的光照下快门调整缓慢而模糊,并且需要高功率。

阅读更多
Papers/2019 ICCV 最佳论文 -- SINGAN