後通用芯片時代：專用芯片興起背後的經濟學

來源 | StarryHeavensAbove

最近，MIT 學者 Neil Thompson 和 Svenja Spanuth 發表了一篇名爲“The Decline of Computers as a General Purpose Technology”的 working paper，重點分析了爲什麼摩爾定律的終結與深度學習的興起會加速計算技術的專用化趨勢。

衆所周知，生產率(productivity)是衡量經濟增長和經濟水平的一個很重要的因素。計算機自 20 世紀中葉誕生以來用前所未有的速度改變着我們的生活，以美國爲例，計算機技術帶動了自 1974 年以來的 1/3 生產率增長，居功至偉。

從產業發展的角度來看，通用計算的進步與普惠離不開堅實的經濟後盾：一項新技術通過商業上的成功取得收益，然後繼續投入創新項目進一步擴大生產；科技的進步讓我們有機會用更加低廉的價格買到更強的算力。

同時，經濟學原理告訴我們，需求(demand)的增長會繼續拉動供給(supply)，這樣的良性循環在過去幾十年裏不斷地推動着通用計算產業的進步，CPU 也成了芯片的代名詞。

Intel 公司的先知 GordonMoore 先生預見性地提出了以他名字命名的摩爾定律（摩爾定律內容爲：當價格不變時，集成電路上可容納的元器件的數目，約每隔18-24個月便會增加一倍，性能也將提升一倍。換言之，每一美元所能買到的電腦性能，將每隔18-24個月翻一倍以上。這一定律揭示了信息技術進步的速度）幾十年增長氣勢如虹。

然而，當摩爾定律走向盡頭，通用計算髮展的步伐也不得不逐漸放緩。以 2008 年爲轉折點，芯片的一個重要衡量指標性價比(performance/dollar)從之前的每年平均 48% 增長降低到了 10% 以下。

近年來，我們正看到一些芯片設計正在朝着專用化的方向演進– 對比 CPU，專用芯片的適用範圍很窄，但在特定領域能做得更好，性能達到數十倍甚至百倍的提升。我們看到以深度學習和比特幣挖礦爲代表的新技術的興起，都將加速計算芯片技術專用化的進程– 那些能得到專用芯片加速的應用將會在“快車道”上越走越快，而那些不能得到加速的應用將會隨着通用計算的沒落而一起停滯不前。

非常有意思的是，Neil 還預言，這樣的專用化趨勢會最終影響到計算技術的進步，並進而影響到社會經濟的發展。我深以爲然，隨着信息和資本流動全球化，科技發展的馬太效應會越來越多地影響到社會經濟的兩極分化。這樣的蝴蝶效應值得更多有識之士關注。

01“天下大勢，分久必合，合久必分”

在過去的幾十年裏，絕大多數人都在適用高度同質化(homogeneous)的 x86 計算機，而 CPU 的快速發展迭代能夠把技術紅利集中地、“有感知地”釋放給大衆。然而，當計算系統變得更加專用化之後，分層就會顯現，異構(heterogeneous)的進程就會加快。在進一步討論其中的經濟學原理之前，我們先來回顧一下芯片發展的一些歷史。

02通用芯片歷史

1969年，一家叫 Busicom 日本公司打算爲其計算器(calculator)產品線重新設計一款芯片。在這之前，計算器產品都是高度專用化的設計，即高效地做好規定操作。

由於專用芯片缺乏靈活性，芯片設計完成之後就不能增加新的功能了。Intel 作爲一家剛剛成立一年的初創公司進入了 Busicom 的視野。

偉大的公司自然有其過人之處，Intel 從一開始就從戰略上選擇做一款可編程的通用芯片，並與 Busicom 一拍即合。這就是第一個通用處理器 4004 的開始，通過重寫軟件實現各種不用的應用功能極大地釋放了生產力，也從此開啓了 Intel 的芯片王朝。

從 4004 開始，CPU 的性能至今已經有了超過 40 萬倍的提升。從 2000 到 2010 年，PC 機的年增長率高達 9%（遠高於同期美國 GDP增長）。截至 2018 年，全球 PC 機的保有量超過 20 億臺。

而這些成就的取得並不是沒有代價的，根據 Intel 的 SEC filling，在過去十年總共投入了 $1,830 億美元用於研發和 Fab 的建設。

放眼世界，由於新的晶圓生產線成本居高不下，有能力生產最前沿芯片製程的廠商，也從 2000 年的 25 家驟減到如今的 4 家。

從 2014 年起，Intel 的固定成本(R&D + Additional PP&E)已經開始超過了其可變成本(COGS = Net Revenue – Gross Margin)支出（見下圖財務報表）。

正是由於成本結構的變化，Intel 在 2016 財年的 10-K filing 裏面明確了將放緩科技迭代，並從之前的 tick-tock 轉向 process-architecture-optimization 模式。一場變革正在悄然醞釀之中，最明顯的就是 TOP500 計算機中使用專用加速芯片的比例正在逐年提高。

03專用加速芯片的興起

Domain Specific 的專用芯片是計算機體系結構黃金時代大復興的四個方向之一。總結一下專用芯片適用的四個主要場景：

1. 計算能夠大量並行處理的(parallelism)。

2. 計算 pattern 是非常整齊的(regularity)。

3. 不需要過多訪問 memory 的(locality)。

4. 可以用更低精度(precision)等效替代的。

由於專用芯片不需要在通用性和兼容性上做太多妥協，往往在性價比和能效上(energyefficiency)上更優。

而一款專用芯片的成功與否和其開發生態也息息相關。就拿我讀研究生時候同時期出來的 Cell 和 GT8800 爲例，雖然 Cell 芯片在很多技術點上有可取之處，又成功在 PS3 遊戲機上落地，但由於非常難開發（還有人記得斯坦福開發的 Sequoia 麼？），三年之後不得不灰溜溜得退出市場，從此沒有第二代（插曲：記得當時有恐怖分子買了大量 Playstation 後來被截獲，原本準備拆了當×××芯片的，那真是有勇氣啊）。

而 NVIDIA 的 GT8800 配合 CUDA 橫空出世，不僅一舉爲皮衣教主在十年後的 AI 賽道上封神打下了堅實的基礎，也讓我等晚輩看到了並行計算的光明前景由此入了 GPU 的行。而之後， ImageNet 挑戰賽讓 GPU 以算力打開了深度學習新局面的故事想必大家也都已經耳熟能詳。現在炒得火熱的 AI 芯片們有多大的決心做生態做軟件，也將很大程度上決定他們未來的命運。

04通用和專用之爭

在比較芯片之前，我們再來看歷史上另一個關於通用和專用的爭論，或許能對我們現在討論的芯片專用化的趨勢有所啓示。

20 世紀之初，家用廚房用具開始逐漸電器化，而小型馬達的價格在那時還是居高不下。以一個帶電動馬達的縫紉機爲例，其 1917 年的售價高達 $35 美元，相當於一戶普通人家一個月 28% 的收入。 Hamilton-Beach 公司看到了用戶的痛點，並快速設計出了一款售價只有 $11.5 美元，並能匹配大部分家電的通用馬達。

按照通常的邏輯發展，通用馬達應該成爲標準。根據之前提到的產品改進->擴大市場->追加投資的理論，似乎 Hamilton-Beach 公司在不斷改良降低成本之後，通用馬達應該成爲家家戶戶電器裏必備的裝備。

然而事實的發展並非如此，在 100 多年後的今天，我們看到家裏電器的馬達並非是通用的。我們的家電設備因爲功率、體積和用途的不同，其馬達都是專用的！

究其原因，Neil 認爲無非是兩邊性價比誰提高得快的問題（在同等的情況下理性人通常會願意選擇功能更多的通用產品），例如假設一個能帶動大功率攪拌機的通用馬達能比一個小電扇的專用馬達價格更低，自然會有受衆。

然而，工程師們無法設計出一種既省錢又好用的通用產品。由於通用的馬達並不能給所有的產品帶來收益，相反大功率馬達價格 premium 居高不下，而低成本的馬達也同樣也有足夠大的市場，產品分層帶來的各種專用化最終戰勝了通用。

對於芯片行業來說，通用 CPU 藉助摩爾定律高速發展在最初幾十年很好地回答了上面性價比的問題，而當摩爾定律的魔力不在之時，CPU 則很難避免通用馬達一般的命運。

當我們把專用芯片的性能作爲常數，而通用芯片的進步模擬成一個階梯函數，則通用和專用芯片的優勢對比可以簡單地用下圖模型表示（Neil在文中還推理了一個比較複雜的數學公式，這裏也不展開贅述）。藍色（通用佔優）和灰色（專用佔優）面積孰大孰小則表示應該選取哪種芯片。

收益與經濟規模也有很大關係，根據 Neil 的複雜公式推理，如果一個專用芯片有 10 倍於通用的性能，那至少需要 167,000 塊芯片的出貨量來支撐。

而如果僅有 2 倍的 speedup，則需要至少有 1 百萬塊芯片來攤薄固定成本！且不論這個數學模型精確與否，比特幣礦機和 TPU 的出現已經能充分說明這類經濟規律的合理性——只要有足夠大的市場和足夠高的收益（性能提升），人們會毫不猶豫地搞專用化。

05經濟規律和總結

芯片的專用化已經很好地在比特幣和深度學習的場景中展現，那讓我們來推演一下其中哪些經濟規律和邏輯在這場變革中起着主導作用，並不斷推波助瀾。

1. 如前文所述，能生產最先進製程芯片的廠商越來越少。這意味着每家廠商的平均市場份額從當年的 4% 提高到了 25%，相當於年均 14% 的增長，行業的 consolidation 足以抵消成本上升帶來的影響。然而，這樣的合併是不可持續的（如果按照之前的趨勢，再過不到 10 年，市場就只能支撐 1 家芯片製造商），這也就意味着爲了攤薄更先進製程的生產線帶來的成本上升問題，製程的推陳出新將會變得越來越慢，而通用 CPU 所能享受到的技術紅利（階梯函數）也將大大受其影響。基於前文引述的財報數據，固定成本已經佔據了 Intel 成本結構的大頭，攤薄是個大問題——換言之，Intel 當前 10nm 產線 delay 的問題真的是技術問題還是經濟問題，這個真的很難說！

2. 科技發展同樣遇到了瓶頸，大約 10 多年前，Dennard scaling 的失效已經預示着芯片的性價比提升無法持續。而三星最近的研究表明，隨着晶體管越變越小，單位晶體管成本已經抵達拐點不降反升了！當科技紅利無法持續，人們會越來越多選擇更成熟也更便宜的製程節點，這又反過來延緩了新技術的鋪開和成本攤薄。

3. 當通用 CPU 無法如之前那樣勢如破竹地提高性價比的時候，不自覺地階梯函數的收益就會往下降，而當越來越多的人大量選擇通過專用芯片來加速的時候，一個類似的關於專用芯片的良性循環週期也已開始。

06總結一下有這麼幾個論斷：

1. 通用 CPU 還會在未來相當長一段時間內作爲一種成熟穩定、發展緩慢的技術而存在。

2. 未來的芯片和數據中心將會是全面異構的，GPU、AI 芯片、FPGA 和其他加速器都會是其中的一部分。

3. 那些不能很好被專用芯片加速的應用（例如事務型數據庫加速芯片）、那些雖然能夠被加速但無法大量落地的應用，以及那些不能利用雲的規模效應的應用，都將被遠遠地甩在後面。

07後記

“天之道，損有餘而補不足；人之道，損不足以奉有餘。”

社會、經濟和科技發展到一定階段必然會導致兩極分化。那些時代寵兒們將會不成比例地獲取社會資源和享受福利的傾斜，而剩下的那些則很有可能持續陷入到不能自拔的“新常態”中去。如果社會的進步不能如 CPU 的高速發展一般爲大部分人所“感知”，那社會體制的失衡就會愈發明顯，進而影響整體的經濟發展和進步。資本的逐利性和人們自我意識的覺醒會是一個持續的矛盾，只不過這次專用芯片這隻蝴蝶揮動了一下翅膀。

關於作者：

徐凌傑，加州大學伯克利分校 MBA，現任阿里雲智能總監，負責包括 GPU 和 AI 芯片在內的異構基礎架構。他的團隊專注於 AI 架構與應用的軟硬件協同。2018 年 9 月，他發佈了深度學習專用測試基準 benchmarks - AI Matrix。在加入阿里巴巴之前，他曾在 NVIDIA, AMD 和三星電子擔任 GPU 項目的高級管理和架構師崗位。

參考文獻

[1] Neil Thompson， “The Decline of Computers as a General Purpose Technology”， http://ide.mit.edu/publications/decline-computers-general-purpose-technology

[2] "AFTER MOORE'S LAW", https://www.economist.com/technology-quarterly/2016-03-12/after-moores-law

[3] https://en.wikipedia.org/wiki/Busicom

[4] “Annual Report and Form 10-K”，https://www.intc.com/investor-relations/financials-and-filings/annual-reports-and-proxy/default.aspx

[5] https://en.wikipedia.org/wiki/Tick%E2%80%93tock_model

[6] K Fatahalian，“Sequoia: Programming the Memory Hierarchy”，http://graphics.stanford.edu/papers/sequoia/sequoia_sc06.pdf

[7] https://en.wikipedia.org/wiki/Dennard_scaling

[8] AI Matrix, https://aimatrix.ai/