PyTorch Geometric Library (简称 PyG) 是一个基于 PyTorch 的图神经网络库，地址是：https://github.com/rusty1s/pytorch_geometric。它包含了很多 GNN 相关论文中的方法实现和常用数据集，并且提供了简单易用的接口来生成图，因此对于复现论文来说也是相当方便。用法大多数和 PyTorch 很相近。

在我之前的一个实验中，我发现 PyTorch Geometric 的运行速度很慢，为了提升速度，尝试了许多常用的数据预加载等方法均无效。后来才发现 PyTorch Geometric 提供了 InMemoryDataset 来提前把所有数据一次性加载到内存中。

这是我们发表在 TPAMI 2021 上的一篇论文，论文题目：Event-Stream Representation for Human Gaits Identification Using Deep Neural Networks。这篇论文主要是基于 event stream 的步态识别。

本文基于 event stream 的两种不同表示形式，即 image-like representation 和 graph representation，提出了一种新的基于 event stream 的步态识别方法，并分别利用基于 image-like representation 的 CNN ，和基于 graph representation 的 GCN 对 event stream 的步态进行识别。这两种方法分别称为 EV-Gait-IMG 和 EV-Gait-3DGraph，分别取得了 87.3% 和 94.9% 的准确率。在两个基于 event stream 的步态数据集上进行了实验：一个来自我们采集的大型步态识别数据集，另一个把 RGB 步态识别数据集 CASIA-B 转换为 event stream 数据集，称为 EV-CASIA-B。

开源地址：https://github.com/zhangxiann/TPAMI_Gait_Identification

这篇文章翻译自 https://jalammar.github.io/illustrated-gpt2/。多图详细解释当今最为强大的人工智能 GPT-2(截至 2019 年 8 月 12 日)。

今年，我们看到了机器学习在许多场景的广泛应用。OpenAI GPT-2 表现出了令人印象深刻的能力，它能够写出连贯而充满激情的文章，这超出了我们当前对语言模型的预期效果。GPT-2 不是一个特别新颖的架构，而是一种与 Transformer 解码器非常类似的架构。不过 GPT-2 是一个巨大的、基于 Transformer 的语言模型，它是在一个巨大的数据集上训练的。在这篇文章，我们会分析它的结构，以及这种结构产生的作用。我们会深入了解 Self Attention 层的细节。然后我们会再了解一下这种只有 Decoder 的 Transformer 在语言建模之外的应用。

我们在保存 TensorFlow 的模型时，一般都是把模型保存为 ckpt 文件。

但是如果把模型迁移到手机上，那么就要把模型保存为 pb 文件。模型保存为 pb 文件时候，模型的变量都会变成固定的，从而会大大减小模型的大小，适合在手机端运行。

这里来讲下如何把模型保存为 pb 文件，以及如何从 pb 文件中加载模型。

在上一篇文章中，我们使用了统计学中的移动平均方法来预测时间序列。

在这篇文章中，我们使用普通的神经网络和 RNN 来预测时间序列。

这篇文章，我们首先使用代码生成时间序列的数据，然后使用统计学（移动平均）方法来构建模型。

首先，导入库，并定义画时间序列的函数。

在这篇文章中，我们来看下如何使用 RNN 生成文本。

首先导入库。

使用 LSTM

首先导入库

1
2
3

import tensorflow_datasets as tfds
import tensorflow as tf
print(tf.__version__)

加载数据集

本文翻译自：http://jalammar.github.io/illustrated-bert/。

通俗易懂，非常适合刚刚开始了解 Bert 的同学。

BERT 来源于 Transformer，如果你不知道 Transformer 是什么，你可以查看 图解 Transformer。

2018 年是机器学习模型处理文本（或者更准确地说，自然语言处理或 NLP）的转折点。如何用最恰当的形式来表示单词和句子，从而最准确地捕捉它们基本语义和关系？我们对这些问题的研究正在迅速发展。此外，NLP 社区已经发布了一些非常强大的组件，你可以免费下载，并在自己的模型和 pipeline 中使用（今年，可以说是 NLP 的 ImageNet 时刻，这句话指的是：多年前类似的发展，也加速了机器学习在计算机视觉任务中的应用）。

从这篇文章开始，我们讲解 NLP 模块。

由于文本数据不能直接输入到网络，我们首先讲文本数据的预处理。

首先下载数据集。