这篇文章翻译自 https://jalammar.github.io/illustrated-gpt2/。多图详细解释当今最为强大的人工智能 GPT-2(截至 2019 年 8 月 12 日)。

今年，我们看到了机器学习在许多场景的广泛应用。OpenAI GPT-2 表现出了令人印象深刻的能力，它能够写出连贯而充满激情的文章，这超出了我们当前对语言模型的预期效果。GPT-2 不是一个特别新颖的架构，而是一种与 Transformer 解码器非常类似的架构。不过 GPT-2 是一个巨大的、基于 Transformer 的语言模型，它是在一个巨大的数据集上训练的。在这篇文章，我们会分析它的结构，以及这种结构产生的作用。我们会深入了解 Self Attention 层的细节。然后我们会再了解一下这种只有 Decoder 的 Transformer 在语言建模之外的应用。

我们在保存 TensorFlow 的模型时，一般都是把模型保存为 ckpt 文件。

但是如果把模型迁移到手机上，那么就要把模型保存为 pb 文件。模型保存为 pb 文件时候，模型的变量都会变成固定的，从而会大大减小模型的大小，适合在手机端运行。

这里来讲下如何把模型保存为 pb 文件，以及如何从 pb 文件中加载模型。

在上一篇文章中，我们使用了统计学中的移动平均方法来预测时间序列。

在这篇文章中，我们使用普通的神经网络和 RNN 来预测时间序列。

这篇文章，我们首先使用代码生成时间序列的数据，然后使用统计学（移动平均）方法来构建模型。

首先，导入库，并定义画时间序列的函数。

在这篇文章中，我们来看下如何使用 RNN 生成文本。

首先导入库。

使用 LSTM

首先导入库

1
2
3

import tensorflow_datasets as tfds
import tensorflow as tf
print(tf.__version__)

加载数据集

本文翻译自：http://jalammar.github.io/illustrated-bert/。

通俗易懂，非常适合刚刚开始了解 Bert 的同学。

BERT 来源于 Transformer，如果你不知道 Transformer 是什么，你可以查看 图解 Transformer。

2018 年是机器学习模型处理文本（或者更准确地说，自然语言处理或 NLP）的转折点。如何用最恰当的形式来表示单词和句子，从而最准确地捕捉它们基本语义和关系？我们对这些问题的研究正在迅速发展。此外，NLP 社区已经发布了一些非常强大的组件，你可以免费下载，并在自己的模型和 pipeline 中使用（今年，可以说是 NLP 的 ImageNet 时刻，这句话指的是：多年前类似的发展，也加速了机器学习在计算机视觉任务中的应用）。

图片二分类

在上一篇文章中，你学习了如何创建卷积神经网络，以及 ImageGenerator 来创建并训练一个完整的深度学习模型。但之前使用的数据都是计算机生成的，这些数据中的物体都在图片中心，图片宽高一样。而真实世界的图片数据是多种多样的。

在这篇文章中，我们来看下如何处理真实世界的数据。

从这篇文章开始，我们讲解 NLP 模块。

由于文本数据不能直接输入到网络，我们首先讲文本数据的预处理。

首先下载数据集。

在上一篇文章中，你学习了如何创建一个神经网络，来学习你要处理的问题。但上一篇文章中的神经网络处理的是非常简单的问题 \(y=2 \times x-1\)。现在我们来看下更加实际，并且也更加困难的问题。在这个问题中，我们使用的数据包含 10 种不同类型的数据，我们要训练一个神经网络，来识别衣服的类型。