'''
使用pytorch的自動求導機制
'''
import torch
dtype=torch.float
device=torch.device("cpu")
# N是批量大小; D_in是輸入維度;
# H是隱藏的維度; D_out是輸出維度。
N,D_in,H,D_out=64,1000,100,10
#隨機構建輸入輸出
x=torch.randn(N,D_in,device=device,dtype=dtype)
y=torch.randn(N,D_out,device=device,dtype=dtype)
w1=torch.randn(D_in,H,device=device,dtype=dtype,requires_grad=True)
w2=torch.randn(H,D_out,device=device,dtype=dtype,requires_grad=True)
#設置學習率
learning_rate=1e-6
for t in range(500):
y_pred=x.mm(w1).clamp(min=0).mm(w2)#前饋計算
loss = (y_pred - y).pow(2).sum()
print(t,loss.item())
loss.backward()#自動求導
with torch.no_grad():#更新階段不添加計算圖,去除求導機制
w1-=learning_rate*w1.grad
w2-=learning_rate*w2.grad
#手動將梯度設爲0
w1.grad.zero_()
w2.grad.zero_()