LSTM可能出現梯度爆炸,訓練時,加上梯度截斷
param.grad.data.clamp_(-grad_clip, grad_clip)
torch.clamp(min,max)
1、在現有層上添加參數,Linear層如下,添加weight_c參數 import torch from torch.nn.parameter import Parameter from torch.nn.modules.mod
focal loss用來解決樣本不均衡的分類問題。 假設正樣本(label=1)少,負樣本多,定義focal loss如下 Loss = -[alpha*(1-y_hat)^2yln(y_hat) + (1-alpha)y_hat
1. 調用方法 torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False) 參數: weigh