TensorFlow/[TensorFlow 学习笔记 ] 3 计算机视觉 2-数据增强,迁移学习,以及 dropout
图片二分类
在上一篇文章中,你学习了如何创建卷积神经网络,以及 ImageGenerator
来创建并训练一个完整的深度学习模型。但之前使用的数据都是计算机生成的,这些数据中的物体都在图片中心,图片宽高一样。而真实世界的图片数据是多种多样的。
在这篇文章中,我们来看下如何处理真实世界的数据。
在上一篇文章中,你学习了如何创建卷积神经网络,以及 ImageGenerator
来创建并训练一个完整的深度学习模型。但之前使用的数据都是计算机生成的,这些数据中的物体都在图片中心,图片宽高一样。而真实世界的图片数据是多种多样的。
在这篇文章中,我们来看下如何处理真实世界的数据。
在上一篇文章中,你学习了如何创建一个神经网络,来学习你要处理的问题。但上一篇文章中的神经网络处理的是非常简单的问题 \(y=2 \times x-1\)。现在我们来看下更加实际,并且也更加困难的问题。在这个问题中,我们使用的数据包含 10 种不同类型的数据,我们要训练一个神经网络,来识别衣服的类型。
机器学习不仅仅是一个与传统编程不同的学科,更是代表了一种新的编程范式。
我们首先从高层次来看下,机器学习与传统的编程范式有何不同?
我们首先看下传统的编程范式,如下图所示:
本文翻译自 http://jalammar.github.io/how-gpt3-works-visualizations-animations/
如今,科技圈充斥着关于 GPT3 的炒作。大量的语言模型(如 GPT3)开始展现出它们惊人的能力。对于大多数企业来说,这些模型虽然还不能直接给用户可靠地使用,但它们展现出的智慧火花,肯定会加速自动化进程和智能计算机系统的可能性。现在,让我们揭开 GPT3的神秘面纱,了解它是如何训练的,以及它是如何运作的。
一个训练好的语言模型会生成文本。
我们可以把一些文本输入到模型中,这些输入的文本会影响输出的文本。
本章代码:https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson8/resnet_inference.py
这篇文章首先会简单介绍一下 PyTorch
中提供的图像分类的网络,然后重点介绍 ResNet
的使用,以及 ResNet
的源码。
在torchvision.model
中,有很多封装好的模型。
Attention 被广泛用于序列到序列(seq2seq)模型,这是一种深度学习模型,在很多任务上都取得了成功,如:机器翻译、文本摘要、图像描述生成。谷歌翻译在 2016 年年末开始使用这种模型。有 2 篇开创性的论文(Sutskever et al., 2014, Cho et al., 2014)对这些模型进行了解释。
上一篇文章中,我详细讲解了 BertModel
。
在今天这篇文章,我会使用 BertForSequenceClassification
,在自己的训练集上训练情感分类模型。
数据集来源于 https://github.com/bojone/bert4keras/tree/master/examples/datasets
是一个中文的情感二分类数据集。
而词汇表 vocab.txt
来自于哈工大的中文预训练语言模型 BERT-wwm, Chinese
。
上一篇文章中,我讲解了在 transformers 中,与 Bert 相关的模型,其中最核心的就是 BertModel
。今天,我会详细讲解 BertModel
。
在上一篇文章中 ,我们简单 了解了 transformers 的设计,从宏观上对整个结构有了了解。
今天,我们继续深入了解一下,在 Hugging Face 的 transformers 中,和 Bert 有关的类,都有哪些,
在上一篇文章中,我用图解详细讲述了 Bert 的组成部分和内部原理。
今天这篇文章,我们来看 Bert 的源码。下面使用的 Bert 源码,来自于 Hugging Face 的 transformers。这个项目一开始的名字是:pytorch-pretrained-bert,只包含 Bert。
后来加入了 GPT-2,RoBERTa,XLM,DistilBert,XLNet,T5,CTRL 等模型,改名为 transformers。你可以点击 model-architectures 来查看所有的模型。
transformers 的代码实现包括 PyTorch 和 Tensorflow,我这里只讲其中的 PyTorch 的源码。
你可以使用 pip install transformers
来安装这个库。