Pytorch
一、什麼是Pytorch，爲什麼選擇Pytroch？
PyTorch 是一個基於 Python 的科學計算包，主要定位兩類人羣：
- NumPy 的替代品，可以利用 GPU 的性能進行計算。
- 深度學習研究平臺擁有足夠的靈活性和速度
- 動態神經網絡
- Python優先
- 命令式體驗
- 輕鬆擴展
二、Pytroch的安裝(CPU版本)
登錄官網https://pytorch.org/
輸入自己需要安裝的環境，我是win10操作系統，Conda的管理環境，Python3.7，沒有安裝cuda，選擇無，即cpu版本。 gpu版本等以後再改，新手可以先入門cpu版本的。
conda install pytorch-cpu torchvision-cpu -c pytorch
-
如何判斷安裝成功？
在python裏輸入
import torch，如果沒有報錯則說明安裝成功
七、通用代碼實現流程(實現一個深度學習的代碼流程)
PyTorch搭建神經網絡的一般步驟
- 給定輸入輸出
- 定義一個模型
- 定義損失函數（loss function）和優化函數（optimizer）
- 訓練一個過程
手寫數字識別 代碼源自開源書籍
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets, transforms
torch.__version__
首先，我們定義一些超參數
BATCH_SIZE=512 #大概需要2G的顯存
EPOCHS=20 # 總共訓練批次
DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 讓torch判斷是否使用GPU，建議使用GPU環境，因爲會快很多
因爲Pytorch裏面包含了MNIST的數據集，所以我們這裏直接使用即可。 如果第一次執行會生成data文件夾，並且需要一些時間下載，如果以前下載過就不會再次下載了
由於官方已經實現了dataset，所以這裏可以直接使用DataLoader來對數據進行讀取
train_loader = torch.utils.data.DataLoader(
datasets.MNIST('data', train=True, download=True,
transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])),
batch_size=BATCH_SIZE, shuffle=True)
測試集
test_loader = torch.utils.data.DataLoader(
datasets.MNIST('data', train=False, transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
])),
batch_size=BATCH_SIZE, shuffle=True)
下面我們定義一個網絡，網絡包含兩個卷積層，conv1和conv2，然後緊接着兩個線性層作爲輸出，最後輸出10個維度，這10個維度我們作爲0-9的標識來確定識別出的是那個數字
在這裏建議大家將每一層的輸入和輸出維度都作爲註釋標註出來，這樣後面閱讀代碼的會方便很多
class ConvNet(nn.Module):
def __init__(self):
super().__init__()
# 1,28x28
self.conv1=nn.Conv2d(1,10,5) # 10, 24x24
self.conv2=nn.Conv2d(10,20,3) # 128, 10x10
self.fc1 = nn.Linear(20*10*10,500)
self.fc2 = nn.Linear(500,10)
def forward(self,x):
in_size = x.size(0)
out = self.conv1(x) #24
out = F.relu(out)
out = F.max_pool2d(out, 2, 2) #12
out = self.conv2(out) #10
out = F.relu(out)
out = out.view(in_size,-1)
out = self.fc1(out)
out = F.relu(out)
out = self.fc2(out)
out = F.log_softmax(out,dim=1)
return out
我們實例化一個網絡，實例化後使用.to方法將網絡移動到GPU
優化器我們也直接選擇簡單暴力的Adam
model = ConvNet().to(DEVICE)
optimizer = optim.Adam(model.parameters())
下面定義一下訓練的函數，我們將訓練的所有操作都封裝到這個函數中
def train(model, device, train_loader, optimizer, epoch):
model.train()
for batch_idx, (data, target) in enumerate(train_loader):
data, target = data.to(device), target.to(device)
optimizer.zero_grad()
output = model(data)
loss = F.nll_loss(output, target)
loss.backward()
optimizer.step()
if(batch_idx+1)%30 == 0:
print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
epoch, batch_idx * len(data), len(train_loader.dataset),
100. * batch_idx / len(train_loader), loss.item()))
測試的操作也一樣封裝成一個函數
def test(model, device, test_loader):
model.eval()
test_loss = 0
correct = 0
with torch.no_grad():
for data, target in test_loader:
data, target = data.to(device), target.to(device)
output = model(data)
test_loss += F.nll_loss(output, target, reduction='sum').item() # 將一批的損失相加
pred = output.max(1, keepdim=True)[1] # 找到概率最大的下標
correct += pred.eq(target.view_as(pred)).sum().item()
test_loss /= len(test_loader.dataset)
print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format(
test_loss, correct, len(test_loader.dataset),
100. * correct / len(test_loader.dataset)))
下面開始訓練，這裏就體現出封裝起來的好處了，只要寫兩行就可以了
for epoch in range(1, EPOCHS + 1):
train(model, DEVICE, train_loader, optimizer, epoch)
test(model, DEVICE, test_loader)
我們看一下結果，準確率99%，沒問題
如果你的模型連MNIST都搞不定，那麼你的模型沒有任何的價值
即使你的模型搞定了MNIST，你的模型也可能沒有任何的價值
MNIST是一個很簡單的數據集，由於它的侷限性只能作爲研究用途，對實際應用帶來的價值非常有限。但是通過這個例子，我們可以完全瞭解一個實際項目的工作流程
我們找到數據集，對數據做預處理，定義我們的模型，調整超參數，測試訓練，再通過訓練結果對超參數進行調整或者對模型進行調整。
並且通過這個實戰我們已經有了一個很好的模板，以後的項目都可以以這個模板爲樣例