torch.nn.Flatten nn.Flatten用于将输入数据展平。在深度学习中，尤其是在处理图像数据时，我们经常需要将多维的图像数据展平为一维向量，以便将其输入到全连接层（也称为线性层）中进行进一步的处理。 1nn.Faltten(start_dim=1, end_dim=-1) start_dim：开始展平的维度。默认为1，意味着从第二个维度开始展平（在PyTorch中，第一个维度通常

torch.nn.init torch.nn.init是Pytorch提供的一个模块，用于初始化神经网络模型的权重和偏置。 常数初始化 1nn.init.constant_(tensor, val) 将tensor中的所有值初始化为常数val 正态分布初始化 1nn.init.normal_(tensor, mean=0.0, std=1.0) 使用均值为mean，标准差为std的正态分布来

什么是张量 在pytorch中，张量（tensor）是基于向量和矩阵的扩展，其可以扩展成任意维度。（注意，这里的张量与数学、物理上的张量不同） 张量 张量本质上就是多维数组，因此，张量的维度代表了我们从张量中指定一个元素所需要的索引个数。0维张量就是标量，不需要索引；一维张量就是向量，只需要一个索引就能找到对应元素；二维张量就是矩阵，我们需要同时指定行与列，才能确定到对应的元素，\(\cdo

torch.nn模块 torch.nn是pytorch中自带的一个函数库，nn的全程为neural network，译为神经网络，torch.nn就是pytorch中用于构建神经网络的模块。 习惯上，我们使用以下方式引入torch.nn： 1from torch import nn 或者 1import torch.nn as nn nn.Parameter torch.nn.Parameter是

权重衰减 权重衰减可以在损失函数中加入假如L2惩罚项\(\frac{\lambda}{2}||w||^2\)，然后正常使用优化器进行梯度下降。但这种方式会使得计算量变大。 另一种方式是损失函数不计算L2惩罚项，直接在梯度下降时加入惩罚项的梯度，在pytorch的优化器中，有weight_decay这个参数设置L2惩罚项的\(\lambda\)参数值，如果非零，则进行权重衰减的梯度下降，比如： 1l