TensorFlow/[TensorFlow 学习笔记 ] 3 计算机视觉 2-数据增强,迁移学习,以及 dropout

TensorFlow/[TensorFlow 学习笔记 ] 3 计算机视觉 2-数据增强,迁移学习,以及 dropout

图片二分类

在上一篇文章中,你学习了如何创建卷积神经网络,以及 ImageGenerator 来创建并训练一个完整的深度学习模型。但之前使用的数据都是计算机生成的,这些数据中的物体都在图片中心,图片宽高一样。而真实世界的图片数据是多种多样的。

在这篇文章中,我们来看下如何处理真实世界的数据。

阅读更多
TensorFlow/[TensorFlow 学习笔记 ] 2 计算机视觉 1-CNN

TensorFlow/[TensorFlow 学习笔记 ] 2 计算机视觉 1-CNN

在上一篇文章中,你学习了如何创建一个神经网络,来学习你要处理的问题。但上一篇文章中的神经网络处理的是非常简单的问题 \(y=2 \times x-1\)。现在我们来看下更加实际,并且也更加困难的问题。在这个问题中,我们使用的数据包含 10 种不同类型的数据,我们要训练一个神经网络,来识别衣服的类型。

阅读更多
TensorFlow/[TensorFlow 学习笔记 ] 1 机器学习入门
NLP/GPT3 的原理 - 详细动画图解

NLP/GPT3 的原理 - 详细动画图解

本文翻译自 http://jalammar.github.io/how-gpt3-works-visualizations-animations/

如今,科技圈充斥着关于 GPT3 的炒作。大量的语言模型(如 GPT3)开始展现出它们惊人的能力。对于大多数企业来说,这些模型虽然还不能直接给用户可靠地使用,但它们展现出的智慧火花,肯定会加速自动化进程和智能计算机系统的可能性。现在,让我们揭开 GPT3的神秘面纱,了解它是如何训练的,以及它是如何运作的。

一个训练好的语言模型会生成文本。

我们可以把一些文本输入到模型中,这些输入的文本会影响输出的文本。

阅读更多
CV/PyTorch ResNet 使用与源码解析
NLP/图解 Attention

NLP/图解 Attention

本文翻译自 https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/

Attention 被广泛用于序列到序列(seq2seq)模型,这是一种深度学习模型,在很多任务上都取得了成功,如:机器翻译、文本摘要、图像描述生成。谷歌翻译在 2016 年年末开始使用这种模型。有 2 篇开创性的论文(Sutskever et al., 2014, Cho et al., 2014)对这些模型进行了解释。

阅读更多
NLP/Bert 文本分类实战
NLP/Bert 源码解读 3
NLP/Bert 源码解读 2

NLP/Bert 源码解读 2

在上一篇文章中 ,我们简单 了解了 transformers 的设计,从宏观上对整个结构有了了解。

今天,我们继续深入了解一下,在 Hugging Face 的 transformers 中,和 Bert 有关的类,都有哪些,

阅读更多
NLP/Bert 源码解读 1

NLP/Bert 源码解读 1

上一篇文章中,我用图解详细讲述了 Bert 的组成部分和内部原理。

今天这篇文章,我们来看 Bert 的源码。下面使用的 Bert 源码,来自于 Hugging Face 的 transformers。这个项目一开始的名字是:pytorch-pretrained-bert,只包含 Bert。

后来加入了 GPT-2,RoBERTa,XLM,DistilBert,XLNet,T5,CTRL 等模型,改名为 transformers。你可以点击 model-architectures 来查看所有的模型。

transformers 的代码实现包括 PyTorch 和 Tensorflow,我这里只讲其中的 PyTorch 的源码。

你可以使用 pip install transformers 来安装这个库。

阅读更多