查看特定layer的權重以及相應的梯度信息
- 打印模型
- 觀察到model下面有module的key,module下面有features的key, features下面有(0)的key,這樣就可以直接打印出weight了
- 在pdb debug界面輸入
p model.module.features[0].weight
,就可以看到weight,輸入p model.module.features[0].weight.grad
就可以查看梯度信息。
中間變量的梯度 : .register_hook
- pytorch 爲了節省顯存,在反向傳播的過程中只針對計算圖中的葉子結點(leaf variable)保留了梯度值(gradient)。但對於開發者來說,有時我們希望探測某些中間變量(intermediate variable) 的梯度來驗證我們的實現是否有誤,這個過程就需要用到 tensor的register_hook接口
grads = {}
def save_grad(name):
def hook(grad):
grads[name] = grad
return hook
x = torch.randn(1, requires_grad=True)
y = 3*x
z = y * y
# 爲中間變量註冊梯度保存接口,存儲梯度時名字爲 y。
y.register_hook(save_grad('y'))
# 反向傳播
z.backward()
# 查看 y 的梯度值
print(grads['y'])
打印網絡回傳梯度
- net.named_parameters()
- parms.requires_grad 表示該參數是否可學習,是不是frozen的;
- parm.grad 打印該參數的梯度值。
net = your_network().cuda()
def train():
...
outputs = net(inputs)
loss = criterion(outputs, targets)
loss.backward()
for name, parms in net.named_parameters():
print('-->name:', name, '-->grad_requirs:',parms.requires_grad, \
' -->grad_value:',parms.grad)
查看pytorch產生的梯度
[x.grad for x in self.optimizer.param_groups[0]['params']]