PyTorch/PyTorch Geometric 使用 MemoryDataset 加快数据读取速度

PyTorch/PyTorch Geometric 使用 MemoryDataset 加快数据读取速度

PyTorch Geometric Library (简称 PyG) 是一个基于 PyTorch 的图神经网络库,地址是:https://github.com/rusty1s/pytorch_geometric。它包含了很多 GNN 相关论文中的方法实现和常用数据集,并且提供了简单易用的接口来生成图,因此对于复现论文来说也是相当方便。用法大多数和 PyTorch 很相近。

在我之前的一个实验中,我发现 PyTorch Geometric 的运行速度很慢,为了提升速度,尝试了许多常用的数据预加载等方法均无效。后来才发现 PyTorch Geometric 提供了 InMemoryDataset 来提前把所有数据一次性加载到内存中。

阅读更多
论文/TPAMI 2021 -基于 event stream 的步态识别

论文/TPAMI 2021 -基于 event stream 的步态识别

这是我们发表在 TPAMI 2021 上的一篇论文,论文题目:Event-Stream Representation for Human Gaits Identification Using Deep Neural Networks。这篇论文主要是基于 event stream 的步态识别。


本文基于 event stream 的两种不同表示形式,即 image-like representation 和 graph representation,提出了一种新的基于 event stream 的步态识别方法,并分别利用基于 image-like representation 的 CNN ,和基于 graph representation 的 GCN 对 event stream 的步态进行识别。这两种方法分别称为 EV-Gait-IMG 和 EV-Gait-3DGraph,分别取得了 87.3% 和 94.9% 的准确率。在两个基于 event stream 的步态数据集上进行了实验:一个来自我们采集的大型步态识别数据集,另一个把 RGB 步态识别数据集 CASIA-B 转换为 event stream 数据集,称为 EV-CASIA-B。

开源地址:https://github.com/zhangxiann/TPAMI_Gait_Identification

阅读更多
NLP/图解 GPT2

NLP/图解 GPT2

这篇文章翻译自 https://jalammar.github.io/illustrated-gpt2/。多图详细解释当今最为强大的人工智能 GPT-2(截至 2019 年 8 月 12 日)。

今年,我们看到了机器学习在许多场景的广泛应用。OpenAI GPT-2 表现出了令人印象深刻的能力,它能够写出连贯而充满激情的文章,这超出了我们当前对语言模型的预期效果。GPT-2 不是一个特别新颖的架构,而是一种与 Transformer 解码器非常类似的架构。不过 GPT-2 是一个巨大的、基于 Transformer 的语言模型,它是在一个巨大的数据集上训练的。在这篇文章,我们会分析它的结构,以及这种结构产生的作用。我们会深入了解 Self Attention 层的细节。然后我们会再了解一下这种只有 Decoder 的 Transformer 在语言建模之外的应用。

阅读更多
TensorFlow/TensorFlow 保存 pb 模型

TensorFlow/TensorFlow 保存 pb 模型

我们在保存 TensorFlow 的模型时,一般都是把模型保存为 ckpt 文件。

但是如果把模型迁移到手机上,那么就要把模型保存为 pb 文件。模型保存为 pb 文件时候,模型的变量都会变成固定的,从而会大大减小模型的大小,适合在手机端运行。

这里来讲下如何把模型保存为 pb 文件,以及如何从 pb 文件中加载模型。

阅读更多
TensorFlow/[TensorFlow 学习笔记 ] 8 时间序列 2 - 神经网络方法
TensorFlow/[TensorFlow 学习笔记 ] 7 时间序列 1 - 统计学方法
TensorFlow/[TensorFlow 学习笔记 ] 6 RNN 实现文本生成
TensorFlow/[TensorFlow 学习笔记 ] 5 使用 RNN 进行文本分类
NLP/图解 Bert

NLP/图解 Bert

本文翻译自:http://jalammar.github.io/illustrated-bert/

通俗易懂,非常适合刚刚开始了解 Bert 的同学。

BERT 来源于 Transformer,如果你不知道 Transformer 是什么,你可以查看 图解 Transformer

2018 年是机器学习模型处理文本(或者更准确地说,自然语言处理或 NLP)的转折点。如何用最恰当的形式来表示单词和句子,从而最准确地捕捉它们基本语义和关系?我们对这些问题的研究正在迅速发展。此外,NLP 社区已经发布了一些非常强大的组件,你可以免费下载,并在自己的模型和 pipeline 中使用(今年,可以说是 NLP 的 ImageNet 时刻,这句话指的是:多年前类似的发展,也加速了机器学习在计算机视觉任务中的应用)。

阅读更多
TensorFlow/[TensorFlow 学习笔记 ] 4 文本数据预处理