Java 里的线程有 6 个状态，这 6 个状态与操作系统的里线程的状态有部分差异，原因是 Java 对操作系统的线程做了封装，下面来说说 Java 线程的状态和对应的操作系统的线程的状态。 - 新建(New)：创建后尚未启动的线程的状态，即使用 new 关键字创建了线程，但是还没有调用线程的 start() 方法。 - 运行(Runnable)：Java线程的 Runnable 状态包括操作系统里的 Ready 和 Running 状态。在 Java 中处于 Runnable 状态的线程有可能在执行状态，对应于操作系统层面的 Running；也有可能在等待 CPU 为这个线程分配时间片，对应于操作系统层面的 Ready。
![PyTorch/[PyTorch 学习笔记] 4.1 权值初始化](https://image.zhangxiann.com/andrea-hagenhoff-dIXCt2zUzV0-unsplash.jpg)
本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/grad_vanish_explod.py
在搭建好网络模型之后，一个重要的步骤就是对网络模型中的权值进行初始化。适当的权值初始化可以加快模型的收敛，而不恰当的权值初始化可能引发梯度消失或者梯度爆炸，最终导致模型无法收敛。下面分 3 部分介绍。第一部分介绍不恰当的权值初始化是如何引发梯度消失与梯度爆炸的，第二部分介绍常用的 Xavier 方法与 Kaiming 方法，第三部分介绍 PyTorch 中的 10 种初始化方法。
考虑一个 3 层的全连接网络。
\(H_{1}=X \times W_{1}\)，\(H_{2}=H_{1} \times W_{2}\)，\(Out=H_{2} \times W_{3}\)
Java 内存模型(Java Memory Model，简称 JMM)是一种抽象的概念，并不真实存在，它描述的是一组规范或者规则，通过这种规范定义了程序中各个变量(包括实例字段、静态字段和构成数组对象的元素)的访问方式。
本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/nn_layers_others.py
这篇文章主要介绍了 PyTorch 中的池化层、线性层和激活函数层。
池化的作用则体现在降采样：保留显著特征、降低特征维度，增大kernel的感受野。 另外一点值得注意：pooling也可以提供一些旋转不变性。 池化层可对提取到的特征信息进行降维，一方面使特征图变小，简化网络计算复杂度并在一定程度上避免过拟合的出现；一方面进行特征压缩，提取主要特征。
有最大池化和平均池化两张方式。
本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/nn_layers_convolution.py
这篇文章主要介绍了 PyTorch 中常用的卷积层，包括 3 个部分。
卷积有一维卷积、二维卷积、三维卷积。一般情况下，卷积核在几个维度上滑动，就是几维卷积。比如在图片上的卷积就是二维卷积。
java.util.concurrent提供了并发编程的解决方案，主要包括两大块： - CAS：是java.util.concurrent.atomic包的基础 - AQS：是java.util.concurrent.locks包以及一些常用类(比如 Semophore、ReentrantLock)的基础
J.U.C 包的分类： - 线程执行器：executor - 锁：locks
group by 里面出现某个表的字段。select 里面出现的列要么是该group by 里面出现的列，要么是带有函数的列，或者别的表的列。 where 是用来过滤行，group by 用来过滤组 如果省略 group by 子句， having 子句就可以替代 where 子句
![PyTorch/[PyTorch 学习笔记] 3.1 模型创建步骤与 nn.Module](https://image.zhangxiann.com/mahdi-soheili-cOdXOk0UT8w-unsplash.jpg)
本章代码：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/module_containers.py
这篇文章来看下 PyTorch 中网络模型的创建步骤。网络模型的内容如下，包括模型创建和权值初始化，这些内容都在nn.Module中有实现。
