为什么需要选择非线性的函数作为激活函数 如果我们选择线性的激活函数，也就等价于将神经元第二步的非线性计算删除，即： \[ a = g(z) = z \] 对于第\(l\)层神经网络： \[ \left\{ \begin{aligned} &Z^{[l]} = W^{[l]}A^{[l-1]} + b^{[l]}\\\ &A^{[l]} = g(Z^{[l]}) = Z^{[l]}

神经网络的退化现象 神经网络的退化（Degradation）是指在深度学习模型中，随着网络层数的增加，模型的性能并没有如预期的那样持续提高，反而出现了性能下降的现象。这种现象与我们的直觉相反，因为理论上更深的网络应该能够捕捉到更复杂的函数关系，从而提高模型的表现。 退化现象通常表现为训练误差和测试误差随着网络层数的增加而增加。即使在训练数据充足且网络能够被充分训练的情况下，退化仍然可能出现。这与过

语言模型 假设长度为\(T\)的文本序列中的词元依次为\(x_1, x_2, \cdots, x_T\)。于是，\(x_t\ (1\leq t\leq T)\)可以被认为是文本序列在时间步\(t\)处的观测或标签。在给定这样的文本序列时，语言模型（language model）的目标是估计序列的联合概率 \[ P(x_1, x_2, \cdots, x_T) \] 语言模型在语音识别和输入法中都是

在一个具有高维空间的损失函数中，如果一个维度上（对应一个参数\(w_i\)）的梯度为0，这个时候这个参数的值为\(w_i^0\)，那么在\(w_i^0\)的某个邻域内，要么是凸函数，要么是凹函数，（常函数既可以算凸函数也可以算凹函数，这里的凹凸性采用欧美定义），在一个维度上，凸函数对应着极小值，凹函数对应着极大值（注意，这里并不是严格凸函数与严格凹函数，也不是严格极大值与严格极小值），如果训练到了

介绍 systemd是linux系统中的一个初始化系统和服务管理器，它负责在系统启动时启动服务、监听系统事件以及管理系统的运行等。它的主要优点包括并行启动服务、按需启动进程、减少系统资源消耗等。 自定义一个systemd服务 创建服务单元文件 如果我们想自定义一个systemd服务，需要创建一个服务单元文件，该文件定义了服务的属性和行为。 服务单元文件通常存储在两个位置： /etc/system

多GPU训练的几种方式 多GPU训练的几种方式 数据并行 将同一个模型分别放到多个GPU上，每个GPU都使用一个小批量样本。 数据并行 一般来说，\(k\)个GPU并行训练过程如下： 在任何一次训练迭代中，给定的随机的小批量样本都将被分成\(k\)个部分，并均匀地分配到GPU上 每个GPU根据分配给它的小批量子集，计算模型参数的损失和梯度 将\(k\)个GPU中的局部梯度聚合（因为不

迁移学习的原理和方法 预训练模型（Pre-trained Model）：预训练模型是指在大数据集上预先训练好的模型。这些模型通常用于图像识别、自然语言处理等任务，并且已经在诸如ImageNet、Wikipedia等大数据集上进行了训练，学习到了丰富的特征表示。 微调（Fine-tuning）：微调是指在预训练模型的基础上，针对特定的任务或数据集进行进一步的训练。在这个过程中，通常会使用较小的学习率

LeNet 模型 LeNet-5 大小\(1\times32\times32\)的灰度图像，通过\(6\times1\times5\times5\)的filter，此时输出图像维度为\(6\times28\times28\)， 通过Sigmoid激活函数后，再经过\(2\times2\)的平均池化（\(\mathrm{stride=2}\)），此时输出图像维度为\(6\times14\tim

torchvision介绍 torchvision是一个与Pytorch深度学习框架紧密集成的计算机视觉库。它提供了许多用于图像处理、数据加载、模型预训练以及常见视觉任务（如图像分类、目标检测等）的工具和函数 torchvision模块 torchvision.datasets 用于加载特定数据集 这个模块提供了一组常用的视觉数据集，例如 CIFAR、MNIST、ImageNet 等。每个数据集都

评估模式和训练模式是pytorch神经网络两种不同的模型状态。 评估模式和训练模式 训练模式： 训练模式是模型在接收训练数据并进行学习时的状态。在这种模式下，模型会根据输入数据进行前向传播，计算损失，并通过反向传播更新权重。 特点： 权重更新： 模型的权重会根据损失函数的梯度进行更新。 Dropout激活： 如果模型中包含了Dropout层，这些层会在前向传播时随机将一部分神经元的输出置零，以减