我们在保存 TensorFlow 的模型时，一般都是把模型保存为 ckpt 文件。

但是如果把模型迁移到手机上，那么就要把模型保存为 pb 文件。模型保存为 pb 文件时候，模型的变量都会变成固定的，从而会大大减小模型的大小，适合在手机端运行。

这里来讲下如何把模型保存为 pb 文件，以及如何从 pb 文件中加载模型。

在上一篇文章中，我们使用了统计学中的移动平均方法来预测时间序列。

在这篇文章中，我们使用普通的神经网络和 RNN 来预测时间序列。

这篇文章，我们首先使用代码生成时间序列的数据，然后使用统计学（移动平均）方法来构建模型。

首先，导入库，并定义画时间序列的函数。

在这篇文章中，我们来看下如何使用 RNN 生成文本。

首先导入库。

使用 LSTM

首先导入库

1
2
3

import tensorflow_datasets as tfds
import tensorflow as tf
print(tf.__version__)

加载数据集

本文翻译自：http://jalammar.github.io/illustrated-bert/。

通俗易懂，非常适合刚刚开始了解 Bert 的同学。

BERT 来源于 Transformer，如果你不知道 Transformer 是什么，你可以查看 图解 Transformer。

2018 年是机器学习模型处理文本（或者更准确地说，自然语言处理或 NLP）的转折点。如何用最恰当的形式来表示单词和句子，从而最准确地捕捉它们基本语义和关系？我们对这些问题的研究正在迅速发展。此外，NLP 社区已经发布了一些非常强大的组件，你可以免费下载，并在自己的模型和 pipeline 中使用（今年，可以说是 NLP 的 ImageNet 时刻，这句话指的是：多年前类似的发展，也加速了机器学习在计算机视觉任务中的应用）。

从这篇文章开始，我们讲解 NLP 模块。

由于文本数据不能直接输入到网络，我们首先讲文本数据的预处理。

首先下载数据集。

图片二分类

在上一篇文章中，你学习了如何创建卷积神经网络，以及 ImageGenerator 来创建并训练一个完整的深度学习模型。但之前使用的数据都是计算机生成的，这些数据中的物体都在图片中心，图片宽高一样。而真实世界的图片数据是多种多样的。

在这篇文章中，我们来看下如何处理真实世界的数据。

在上一篇文章中，你学习了如何创建一个神经网络，来学习你要处理的问题。但上一篇文章中的神经网络处理的是非常简单的问题 \(y=2 \times x-1\)。现在我们来看下更加实际，并且也更加困难的问题。在这个问题中，我们使用的数据包含 10 种不同类型的数据，我们要训练一个神经网络，来识别衣服的类型。

机器学习不仅仅是一个与传统编程不同的学科，更是代表了一种新的编程范式。

我们首先从高层次来看下，机器学习与传统的编程范式有何不同？

我们首先看下传统的编程范式，如下图所示：