GPU
之前看到一個用畫師的比喻感覺蠻好的。
- GPU架構 一般來說越新性能越好,架構越好水平越好,類比畫師的水平。
- 流處理器 渲染管,流處理器數量越多,顯卡畫圖的能力越強,速度也越快。一般是同型號比較流處理器個數。類比畫師的個數。
- 核心頻率 頻率越高,效率越高,功耗也越大,畫師工廠的運畫到倉庫的搬運人員其運輸的速率。
- 容量 提供臨時的存儲功能,當然要配合帶寬等,不然大了也浪費。類比畫師工廠倉庫。
- 顯存帶寬 顯存位寬×顯存頻率,顯存位寬類比成公路,公路越寬,一次能通過的車輛越多;顯存頻率類別汽車速度,頻率越快,數據傳輸就越快。
1.首先來看看NVIDIA GPU架構。架構指的是硬件的設計方式,例如core數量、L1 or L2緩存、計算單元雙精度還是單精度等等。
- 2008 - Tesla
Tesla最初是給計算處理單元使用的,應用於早期的CUDA系列顯卡芯片中,並不是真正意義上的普通圖形處理芯片。
-
2010 - Fermi
Fermi是第一個完整的GPU計算架構。首款可支持與共享存儲結合純cache層次的GPU架構,支持ECC的GPU架構。
-
2012 - Kepler
Kepler相較於Fermi更快,效率更高,性能更好。
-
2014 - Maxwell
其全新的立體像素全局光照 (VXGI) 技術首次讓遊戲 GPU 能夠提供實時的動態全局光照效果。基於 Maxwell 架構的 GTX 980 和 970 GPU 採用了包括多幀採樣抗鋸齒 (MFAA)、動態超級分辨率 (DSR)、VR Direct 以及超節能設計在內的一系列新技術。
-
2016 - Pascal
Pascal 架構將處理器和數據集成在同一個程序包內,以實現更高的計算效率。1080系列、1060系列基於Pascal架構
-
2017 - Volta
Volta 配備640 個Tensor 核心,每秒可提供超過100 兆次浮點運算(TFLOPS) 的深度學習效能,比前一代的Pascal 架構快5 倍以上。
-
2018 - Turing
Turing 架構配備了名爲 RT Core 的專用光線追蹤處理器,能夠以高達每秒 10 Giga Rays 的速度對光線和聲音在 3D 環境中的傳播進行加速計算。Turing 架構將實時光線追蹤運算加速至上一代 NVIDIA Pascal™ 架構的 25 倍,並能以高出 CPU 30 多倍的速度進行電影效果的最終幀渲染。2060系列、2080系列顯卡也是跳過了Volta直接選擇了Turing架構。
2.芯片型號
芯片型號:GT200、GK210、GM104、GF104等。其中第二個字母表示架構,如K40 中的K表示是Kepler架構
3.顯卡系列
分成GeForce, Quadro, Tesla。
GeForce消費級常用於遊戲等,如GeForce RTX 2080ti、GeForce GTX 1080ti,還有顯卡型號有Titan v, Titan RTX, Titan Xp;
Quadro用於專業圖形領域,如Quadro RTX 8000;
Tesla用於科學計算,深度學習加速等場景,如Tesla P4/P40, Tesla T4。
4.流處理器
流處理器也叫渲染管,越多處理越快。
5.深度學習gpu雲主機
-
型號中大寫表示架構,例如K表示是Kepler架構
-
CUDA Cores 流處理器個數
-
顯存容量 存儲,例如深度學習中參數
-
浮點性能 通常關心的是32位浮點計算能力。16位浮點訓練也開始流行,如果只做預測的話也可以用8位整數。FLOPS,即每秒浮點運算次數。
一個TFLOPS(teraFLOPS)= 每秒萬億(=10^12)次的浮點運算
(百度深度學習開發板應該是TITAN X (Pascal))
6.其他
1.公版顯卡 顯卡研發廠家NVDIA(英偉達)或AMD官方售賣的顯卡;非公版顯卡購買NVDIA,AMD顯卡芯片後自行組裝生產的顯卡,通常比公版顯卡性能更高。
2.N卡 NVIDIA生產 A卡ADM
3.linux命令
watch -n 1 nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.67 Driver Version: 418.67 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 TITAN X (Pascal) On | 00000000:00:09.0 Off | N/A |
| 23% 26C P8 8W / 250W | 1MiB / 12196MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
ssss
Fan(23%)N/A是風扇轉速,從0到100%之間變動。有的設備不會返回轉速因爲依賴外界降溫比如在空調房的gpu;
Name:名稱;
Temp:顯卡內部的溫度,單位是攝氏度;
Perf:表徵性能狀態,從P0到P12,P0表示最大性能,P12表示狀態最小性能;
Persistence-M:持續模式的狀態(持續模式耗能大,但在新的GPU應用啓動時花費時間更少);
Pwr:Usage/Cap:GPU能耗;
Bus-Id:GPU總線;
Disp.A:Display Active,表示GPU的顯示是否初始化;
Memory-Usage:顯存使用率; 12196MiB表示顯存大小是12G
Volatile GPU-Util:GPU利用率
Uncorr. ECC:是否開啓錯誤檢查和糾正技術,0/DISABLED, 1/ENABLED
Compute M.:計算模式,0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED
Processes:進程信息 pid佔用顯存大小等等
顯卡天梯圖
ABLED, 1/ENABLED
Compute M.:計算模式,0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED
Processes:進程信息 pid佔用顯存大小等等
顯卡天梯圖