权重衰减 权重衰减可以在损失函数中加入假如L2惩罚项\(\frac{\lambda}{2}||w||^2\)，然后正常使用优化器进行梯度下降。但这种方式会使得计算量变大。 另一种方式是损失函数不计算L2惩罚项，直接在梯度下降时加入惩罚项的梯度，在pytorch的优化器中，有weight_decay这个参数设置L2惩罚项的\(\lambda\)参数值，如果非零，则进行权重衰减的梯度下降，比如： 1l