天河二號那些事兒(1)

天河2號相信大家都知道啦,2013和2014 TOP500中都位列榜首,是目前最快的超算,比第2名泰坦-Titan快1倍,天河2號是使用什麼樣的架構獲得此能力的呢,下面我們來了解一下。


天河二號的型號爲TH-IVB-FEP,使用中央處理器及協處理器的運算架構佈局:

天河二號共有16,000個運算節點,每節點配備兩顆Xeon E5 12核心的中央處理器、三個Xeon Phi 57核心的協處理器(運算加速卡,即MIC卡)。累計32,000顆Xeon E5主處理器和48,000個Xeon Phi協處理器,共312萬個計算核心。


*處理器/CPU:

節點中的CPU 爲Intel 2.2GHz的Xeon E5-2692v2 12核心處理器,基於英特爾Ivy Bridge微架構(Ivy Bridge-EX核心),採用22奈米制程,峯值效能0.2112TFLOPS。


*協處理器/APU:

  運算加速使用基於英特爾集成衆核架構的Xeon Phi 31S1P協處理器,運行時鐘頻率爲1.1GHz,擁有57個x86核心(實際上擁有61個核心,因啓用全部核心時會存在運算週期協調衝突之問題,因此先遮蔽4個x86核心),每個x86核心籍由特殊的超執行緒技術能運作2個線程,產生峯值效能爲1.003TFLOPS。

  其實每個協處理器相當於1臺獨立的主機,有自己獨享的內存和操作系統,所以某種意義上它相當於一個節點,這樣算起來天河2號共有160,000(16000+48000*3)個節點!

我們會在接下來的 天河二號那些事兒(2) 中詳細地說說Xeon Phi協處理器的那些事兒j_0057.gif


*內存:

  每個節點擁有64GB主存,而每個Xeon Phi協處理器板載8GB內存,故每節點共88GB內存,整體總計內存1,375TB (1.34PB)。

  其實板載協處理器本身就是1臺獨立的機器,有獨立的操作系統,其板載內存也是供其獨立使用,和節點的內存完全分隔開,兩者間不存在共享內存,所以節點是無法使用協處理器板載內存,同理協處理器也無法使用節點的內存。


*外存:12.4PB容量的硬碟陣列。


*機櫃/機架/主板、運算陣列

  • 主板、機架與機櫃均由浪潮集團製造,共有170個機櫃,包括125個計算機櫃、8個服務機櫃、13個通信機櫃和24個存儲機櫃,每個機櫃容納4個機框,每個機框容納16塊主板,每個主板設置有兩個計算節點。

  • 各運算陣列中,每塊主板上分爲APU模組和CPM模組兩部分,APU部分承載5塊Xeon Phi,CPM部分承載1塊Xeon Phi+4顆Xeon E5。注意運算陣列是由多節點組成的,一塊主板有4個CPU+6個APU,一個節點包括2個CPU+3個APU,就是說一塊主板上有2個節點,16,000個節點需要8,000塊主板,這還沒包括前端處理器。

  • APU模組和CPM模組之間以CPU內部提供的PCI-E 3.0 16x介面進行連接,但實際由於Xeon Phi的硬體限制,僅支援至PCI-E 2.0 16x,單通道資料傳輸速率爲10Gbps。


*前端處理器

   計算節點前端處理器爲4096顆中國國防科技大學研發的FT-1500 16核心SPARC V9架構的處理器,40奈米制程,運作時脈1.8GHz,熱設計功耗65瓦,峯值效能144GFLOPS。而Intel Xeon E5-2692v2 22nm 12核 2.2GHz 峯值效能211GFLOPS。

   前端處理器用途是什麼呢?資源管理,要知道天河2號有這麼多處理器每個處理器又有多個核,要將一個運算任務大致平均分配給衆多的處理器,這需要任務調度來管理分配時間段、執行次序等,指定該任務什麼時候運行、需要多少個處理器,以及運行在哪些處理器上。有點類似於飛行控制中心對飛機安排調度或車輛管理中心對車輛調度,不過它按排調度的是處理器而已。

   這是天河2號爲數不多能使用到國產處理器的地方。

*網絡連接

天河2號互聯方面採用自主研發的 Express-2 內部互聯網絡,高速互聯架構使用光電混合傳輸技術,其有13個交換機,而每個交換機有576個端口。連接介質爲光電混合。具體控制器是名爲NRC的ASIC專用集成電路,其採用90nm工藝,2577 pin。單個NRC的吞吐能力爲2.56Tbps.而在終端方面網絡接口也採用類似結構的NIC,但規模稍小,675 pin,其採用PCIE 2.0方式連接,傳輸速率爲6.36GB/s。並且在12000節點的情況下延遲也很低,僅爲85us。這是另一處使用到國產芯片地方。


*能耗

  整機功耗17,808千瓦,在搭載水冷散熱系統以後,功耗將達到24兆瓦,無論水冷系統的搭載與否,都是目前TOP500裏功耗最大的。天河二號電費每年達1億人民幣,其實實際費用和使用量有關。

  以之前公佈的數據推算,每瓦性能爲1.901GFLOPS,仍不及泰坦的每瓦2.143GFLOPS和IBM紅杉每瓦2.177GFLOPS的成績,但比"京"的每瓦0.830GFLOPS和天河一號每瓦僅0.668GFLOPS要高不少。

  現時超算裏還有一個性能能耗排名,以每瓦所獲性能爲指標,業界非常推崇,綠色環保是未來發展方向,而不僅僅是追求速度!當然天河2號在該排名裏不會是第一。


*操作系統及相關軟件:

  • RedHat Enterprise Linux Server release 6.2(kernel 2.6.32-220定製版):16,000個運算節點均安裝此係統,後計劃將6400個節點改爲麒麟 Kylin Cloud Linux(Ubuntu中國定製版)

  • OpensStack(Canonical發行版):包括中國定製版的Ubuntu Server(即Kylin Cloud Linux)、Ubuntu OpenStack、Ubuntu Juju(雲服務流程引擎)。OpenStack現已經運行在256個節點上,未來將會部署到超過6400個節點。

  • 麒麟操作系統:基於linux源碼修改而成,在前端的國產飛騰處理器(FT-1500)上運行,用於運算任務排程管理。作業管理系統使用SLURM。


天河二號那些事兒(2),待續......


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章