Windows環境下老顯卡跑PyTorch GPU版本

從pytorch 1.3開始不再支持GPU的算力在3.5及其以下的顯卡。這時，你只能安裝1.2版本的官方Pytorch。如果夠用就安裝它吧，省心省力。但是如果你要用其它包需要更高版本的torch支持，比如：torch geometric需要至少1.4版本。你只能使用官方的CPU版本，因爲官方的版本不再直接支持GPU算力3.5以下版本，簡化版本的分發（Torch已經很大了）。到了Torch 1.7時，GPU算力至少要達到5.2。這時，我們需要在Windows上重新編譯Pytorch 源碼，得到適合自己顯卡的Torch。在編譯時，系統會自動把GPU算力下限設爲當前機器顯卡的算力，比如GT 730M 1G 顯卡算力爲3.5。

參考：https://blog.csdn.net/qq_43051923/article/details/108393510

下面以Torch 1.7爲例來說明整個操作過程。

1. 編譯工具和第三方庫

1.1 Visual studio 2019

原帖子上說最新的VS 2019有點問題，我並沒有去證實。但是個人認爲，原理上應該不會這樣的，或者說不是關鍵問題。但是我還是按帖子上的說法，安裝了16.6.5版本Professional版本。

https://docs.microsoft.com/en-us/visualstudio/releases/2019/history 裏面的16.6.5版本。

只需要安裝 C++桌面開發即可。

1.2 Cuda toolkit

去Nvidia官網下 https://developer.nvidia.com/cuda-toolkit

下載的版本選擇cuda 10.1，cuda_10.1.105_418.96_win10.exe

需要安裝NVCC，與Visual Studio相關的插件部分。

1.3 cudnn

這個的安裝可以參考windows_cudnn_install. ( https://github.com/pytorch/pytorch/blob/master/.circleci/scripts/windows_cudnn_install.sh)

可以看到對應cuda10.1爲v7.6.4.38，即cudnn-10.1-windows10-x64-v7.6.4.38.zip（不斷地更新中）

https://developer.nvidia.com/compute/machine-learning/cudnn/secure/7.6.4.38/Production/10.1_20190923/cudnn-10.1-windows10-x64-v7.6.4.38.zip

將文件解壓出來後，移動到Cuda toolkit安裝路徑中。（只是爲了簡化配置過程中的目錄的設定）

1.4 mkl

這個的安裝可以參考install_mkl

https://github.com/pytorch/pytorch/blob/master/.jenkins/pytorch/win-test-helpers/installation-helpers/install_mkl.bat

根據目前的官方文檔下載：

https://s3.amazonaws.com/ossci-windows/mkl_2020.0.166.7z

1.5 magma

參考install_magma

https://github.com/pytorch/pytorch/blob/master/.jenkins/pytorch/win-test-helpers/installation-helpers/install_magma.bat

需要注意的是，要注意區別release和debug版本，如果你想下載cuda110的release版本，就xxx_cuda110_release,否則就是xxx_cuda110_debug。編譯的時候release就用release版本，debug就用debug版本

根據目前的官方文檔下載：

https://s3.amazonaws.com/ossci-windows/magma_2.5.4_cuda101_release.7z

1.6 sccache

參考install_sccache

https://github.com/pytorch/pytorch/blob/master/.jenkins/pytorch/win-test-helpers/installation-helpers/install_sccache.bat

根據官方文檔下載：

https://s3.amazonaws.com/ossci-windows/sccache.exe

https://s3.amazonaws.com/ossci-windows/sccache-cl.exe

1.7 ninja

下載：ninja-win.zip

https://github.com/ninja-build/ninja/releases

mkl, magma, sccache 和ninja下載解壓後最好放在同一個目錄下。

Nvcc和randomtemp.exe先不管它們，後面再說。

1.8 安裝Ananconda 或者 miniconda

Torch官方文檔推薦使用conda環境。這裏我還是使用pip。實踐證明沒有問題。

1.9 安裝python 包

Pip install numpy ninja pyyaml mkl mkl-include setuptools cmake cffi typing_extensions future six requests dataclasses

2. 設置環境變量

生成一個批處理文件進行環境變量的設置。

set -x

set BUILD_TYPE=release
set USE_CUDA=1
set DEBUG=
rem set DEBUG=1 for debug version

set USE_DISTRIBUTED=0
set CMAKE_VERBOSE_MAKEFILE=1

set TMP_DIR_WIN=D:\pytorch\needed\
set CMAKE_INCLUDE_PATH=%TMP_DIR_WIN%\mkl\include
set LIB=%TMP_DIR_WIN%\mkl\lib;%LIB
set MAGMA_HOME=%TMP_DIR_WIN%\magma

rem version transformer, for example 10.1 to 10_1.
set CUDA_SUFFIX=cuda10_1
set CUDA_PATH_V%VERSION_SUFFIX%=%CUDA_PATH%

set CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
set CUDNN_LIB_DIR=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\lib\x64
set CUDA_TOOLKIT_ROOT_DIR=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
set CUDNN_ROOT_DIR=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
set NVTOOLSEXT_PATH=C:\Program Files\NVIDIA Corporation\NvToolsExt
set CUDNN_INCLUDE_DIR=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include
set NUMBAPRO_CUDALIB=%CUDA_PATH%\bin
set NUMBAPRO_LIBDEVICE=%CUDA_PATH%\nvvm\libdevice
set NUMBAPRO_NVVM=%CUDA_PATH%\nvvm\bin\nvvm64_33_0.dll

set PATH=%CUDA_PATH%\bin;%CUDA_PATH%\libnvvp;%PATH%

set DISTUTILS_USE_SDK=1

set TORCH_CUDA_ARCH_LIST=3.5
set TORCH_NVCC_FLAGS=-Xfatbin -compress-all

set PATH=%TMP_DIR_WIN%\bin;%PATH%
set SCCACHE_IDLE_TIMEOUT=0
sccache --stop-server
sccache --start-server
sccache --zero-stats
set CC=sccache-cl
set CXX=sccache-cl

set CMAKE_GENERATOR=Ninja
if "%USE_CUDA%"=="1" (
  copy %TMP_DIR_WIN%\bin\sccache.exe %TMP_DIR_WIN%\bin\nvcc.exe

  :: randomtemp is used to resolve the intermittent build error related to CUDA.
  :: code: https://github.com/peterjc123/randomtemp
  :: issue: https://github.com/pytorch/pytorch/issues/25393
  ::
  :: Previously, CMake uses CUDA_NVCC_EXECUTABLE for finding nvcc and then
  :: the calls are redirected to sccache. sccache looks for the actual nvcc
  :: in PATH, and then pass the arguments to it.
  :: Currently, randomtemp is placed before sccache (%TMP_DIR_WIN%\bin\nvcc)
  :: so we are actually pretending sccache instead of nvcc itself.
  :: curl -kL https://github.com/peterjc123/randomtemp/releases/download/v0.3/randomtemp.exe --output %TMP_DIR_WIN%\bin\randomtemp.exe
  set RANDOMTEMP_EXECUTABLE=%TMP_DIR_WIN%\bin\nvcc.exe
  set CUDA_NVCC_EXECUTABLE=%TMP_DIR_WIN%\bin\randomtemp.exe
  set RANDOMTEMP_BASEDIR=%TMP_DIR_WIN%\bin
)
set CMAKE_GENERATOR_TOOLSET_VERSION=14.26
set CMAKE_GENERATOR=Visual Studio 16 2019

"C:\Program Files (x86)\Microsoft Visual Studio\2019\Professional\VC\Auxiliary\Build\vcvarsall.bat" x64 -vcvars_ver=14.26

注意幾點：

1）如果編譯的是Cuda10的話，原帖上說：“set TORCH_CUDA_ARCH_LIST=3.7+PTX;5.0;6.0;6.1;7.0;7.5;8.”TORCH_CUDA_ARCH_LIST要去掉 8.0。

我這裏直接設定爲3.5。這裏設定的就是算力下限。

2）編譯debug/release版本是，下載對應的Magma debug/release版本包

3）如果只編譯CPU版本的話，設置USE_CUDA=0

4）這裏將randomtemp.exe直接下載到本地。

5）腳本會自動複製nvcc.exe到設定目錄。它是編譯gpu代碼的工具。

6）關閉了分佈式訓練的功能。set USE_DISTRIBUTED=0

3. 準備Torch源碼

根據Torch官方文檔：

Get the PyTorch Source
git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
# if you are updating an existing checkout
git submodule sync
git submodule update --init –recursive

這裏—recursive是遞歸下載Torch依賴的第三方git庫。這裏存在的問題是，在國內連接github的速度並不穩定，爲了以免下載的源碼出問題，我選擇下載zip打包後的源碼。

注：直接在github上進行下載是最方便的。只是需要幾個小時的時間，下載的速度只有20~50k/s，下載整個項目需要數個小時時間。（項目有600M以上，我沒有堅持下載完全。中途斷線了）