什么是梯度消失，什么是梯度爆炸 梯度消失 在进行梯度下降时，得到的梯度值接近于0，称为梯度消失 梯度爆炸 在进行梯度下降时，得到的梯度值非常大（NAN），称为梯度爆炸 梯度消失与梯度爆炸的产生原因 注：如果没有注明，下面指的很小是指很接近于0 反向传播因素导致的梯度消失或梯度爆炸 根据神经网络的反向传播公式： \[ \left\{ \begin{aligned} &\frac{\p

注：搬迁服务器图片已经找不到了，暂时不会重新做实验出图像 为什么神经网络的权重需要随机初始化 如果我们将神经网络的一个隐藏层的所有参数全部初始化为相同的值，那么这一层的网络可以看成是完全对称的，每一个神经元均具有相同的参数，在之后的训练中，每一个神经元梯度下降的改变值均相同，梯度下降后参数也均相同，参数将始终保持一致，在最终结果中，该层的每个神经元参数均相同。同样的，该层如果有两个神经元参数相同，

Xavier初始化 原理 考虑前向传播： 对于全连接神经网络，假设激活函数为\(g(z) = z\)，那么， \[ Z^{[l]} = W^{[l]}A^{[l-1]} + b^{[l]} = W^{[l]}Z^{[l-1]} + b^{[l]} \] 对于\(Z^{[l-1]}\)内的每个元素\(z_{ij}^{[l-1]}\)，假定全部都为独立同分布的随机变量，每个元素均服从均值为\(\mu_

注：搬迁服务器图片已经找不到了，这个笔记的图像一开始是辅助理解，但现在已经不重要了 什么是前向传播，什么是反向传播 前向传播与反向传播 前向传播 前向传播，也叫正向传播，英文术语为Forward propagation. 前向传播可以认为是正着递推，也就是从输入层开始，经过逐层神经元的计算，得到最终预测结果的过程 前向传播 反向传播 反向传播，也叫逆向传播，英文术语为：Backp

介绍 systemd是linux系统中的一个初始化系统和服务管理器，它负责在系统启动时启动服务、监听系统事件以及管理系统的运行等。它的主要优点包括并行启动服务、按需启动进程、减少系统资源消耗等。 自定义一个systemd服务 创建服务单元文件 如果我们想自定义一个systemd服务，需要创建一个服务单元文件，该文件定义了服务的属性和行为。 服务单元文件通常存储在两个位置： /etc/system

多GPU训练的几种方式 多GPU训练的几种方式 数据并行 将同一个模型分别放到多个GPU上，每个GPU都使用一个小批量样本。 数据并行 一般来说，\(k\)个GPU并行训练过程如下： 在任何一次训练迭代中，给定的随机的小批量样本都将被分成\(k\)个部分，并均匀地分配到GPU上 每个GPU根据分配给它的小批量子集，计算模型参数的损失和梯度 将\(k\)个GPU中的局部梯度聚合（因为不

迁移学习的原理和方法 预训练模型（Pre-trained Model）：预训练模型是指在大数据集上预先训练好的模型。这些模型通常用于图像识别、自然语言处理等任务，并且已经在诸如ImageNet、Wikipedia等大数据集上进行了训练，学习到了丰富的特征表示。 微调（Fine-tuning）：微调是指在预训练模型的基础上，针对特定的任务或数据集进行进一步的训练。在这个过程中，通常会使用较小的学习率

LeNet 模型 LeNet-5 大小\(1\times32\times32\)的灰度图像，通过\(6\times1\times5\times5\)的filter，此时输出图像维度为\(6\times28\times28\)， 通过Sigmoid激活函数后，再经过\(2\times2\)的平均池化（\(\mathrm{stride=2}\)），此时输出图像维度为\(6\times14\tim

torchvision介绍 torchvision是一个与Pytorch深度学习框架紧密集成的计算机视觉库。它提供了许多用于图像处理、数据加载、模型预训练以及常见视觉任务（如图像分类、目标检测等）的工具和函数 torchvision模块 torchvision.datasets 用于加载特定数据集 这个模块提供了一组常用的视觉数据集，例如 CIFAR、MNIST、ImageNet 等。每个数据集都

评估模式和训练模式是pytorch神经网络两种不同的模型状态。 评估模式和训练模式 训练模式： 训练模式是模型在接收训练数据并进行学习时的状态。在这种模式下，模型会根据输入数据进行前向传播，计算损失，并通过反向传播更新权重。 特点： 权重更新： 模型的权重会根据损失函数的梯度进行更新。 Dropout激活： 如果模型中包含了Dropout层，这些层会在前向传播时随机将一部分神经元的输出置零，以减