正則化

L1
regularization_loss=0
for param in model.parameters():
regularization_loss+=torch.sum(torch.abs(param))

classify_loss+criteon(logits,target)
loss=classify_loss+0.01*regularization_loss
optimizer.zero_grad()
loss.backward()
optimizer.step()
在這裏插入圖片描述
L1 正則化 pytorch 目前只能 手動寫入

在這裏插入圖片描述
L2可以加上上述

發佈了208 篇原創文章 · 獲贊 24 · 訪問量 1萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章