我仍在努力了解PyTorch autograd系统。我正在努力的一件事是了解为什么.clamp(min=0)
和nn.functional.relu()
似乎具有不同的后向传递。
由于.clamp
与PyTorch教程中的relu
等价使用,例如https://pytorch.org/tutorials/beginner/pytorch_with_examples.html#pytorch-nn,因此尤其令人困惑。
我在分析具有一个隐藏层和relu激活(输出层中的线性)的简单完全连接网络的梯度时发现了这一点。
据我了解,以下代码的输出应仅为零。我希望有人可以告诉我我所缺少的。
import torch
dtype = torch.float
x = torch.tensor([[3,2,1],
[1,0,2],
[4,1,2],
[0,0,1]], dtype=dtype)
y = torch.ones(4,4)
w1_a = torch.tensor([[1,2],
[0,1],
[4,0]], dtype=dtype, requires_grad=True)
w1_b = w1_a.clone().detach()
w1_b.requires_grad = True
w2_a = torch.tensor([[-1, 1],
[-2, 3]], dtype=dtype, requires_grad=True)
w2_b = w2_a.clone().detach()
w2_b.requires_grad = True
y_hat_a = torch.nn.functional.relu(x.mm(w1_a)).mm(w2_a)
y_a = torch.ones_like(y_hat_a)
y_hat_b = x.mm(w1_b).clamp(min=0).mm(w2_b)
y_b = torch.ones_like(y_hat_b)
loss_a = (y_hat_a - y_a).pow(2).sum()
loss_b = (y_hat_b - y_b).pow(2).sum()
loss_a.backward()
loss_b.backward()
print(w1_a.grad - w1_b.grad)
print(w2_a.grad - w2_b.grad)
# OUT:
# tensor([[ 0., 0.],
# [ 0., 0.],
# [ 0., -38.]])
# tensor([[0., 0.],
# [0., 0.]])
#
最佳答案
原因是clamp
和relu
在0
处产生不同的渐变。使用标量张量x = 0
检查两个版本:(x.clamp(min=0) - 1.0).pow(2).backward()
与(relu(x) - 1.0).pow(2).backward()
。生成的x.grad
是0
版本的relu
,但它是-2
版本的clamp
。这意味着relu
选择x == 0 --> grad = 0
,而clamp
选择x == 0 --> grad = 1
。
关于python - 当使用.clamp而不是torch.relu时,Pytorch Autograd会给出不同的渐变,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/60618346/