【轉】降低軟件複雜性的一般原則和方法

寫在最前
本文轉載自美團技術團隊文章,個人閱讀後有些感觸,且認爲值得再讀,決定轉載,轉載已獲得授權。後面再次閱讀及查閱相關材料後再做一遍總結。

一、前言
斯坦福教授、Tcl語言發明者John Ousterhout 的著作《A Philosophy of Software Design》[1],自出版以來,好評如潮。按照IT圖書出版的慣例,如果冠名爲“實踐”,書中內容關注的是某項技術的細節和技巧;冠名爲“藝術”,內容可能是記錄優秀作品的設計過程和經驗;而冠名爲“哲學”,則是一些通用的原則和方法論,這些原則方法論串起來,能夠形成一個體系。正如“知行合一”、“世界是由原子構成的”、“我思故我在”,這些耳熟能詳的句子能夠一定程度上代表背後的人物和思想。用一句話概括《A Philosophy of Software Design》,軟件設計的核心在於降低複雜性。
本篇文章是圍繞着“降低複雜性”這個主題展開的,很多重要的結論來源於John Ousterhout,筆者覺得很有共鳴,就做了一些相關話題的延伸、補充了一些實例。雖說是“一般原則”,也不意味着是絕對的真理,整理出來,只是爲了引發大家對軟件設計的思考。
二、如何定義複雜性
關於複雜性,尚無統一的定義,從不同的角度可以給出不同的答案。可以用數量來度量,比如芯片集成的電子器件越多越複雜(不一定對);按層次性[2]度量,複雜度在於層次的遞歸性和不可分解性。在信息論中,使用熵來度量信息的不確定性。

John Ousterhout選擇從認知的負擔和開發工作量的角度來定義軟件的複雜性,並且給出了一個複雜度量公式:

在這裏插入圖片描述
子模塊的複雜度Cp乘以該模塊對應的開發時間權重值tp,累加後得到系統的整體複雜度C。系統整體的複雜度並不簡單等於所有子模塊複雜度的累加,還要考慮開發維護該模塊所花費的時間在整體時間中的佔比(對應權重值tp)。也就是說,即使某個模塊非常複雜,如果很少使用或修改,也不會對系統的整體複雜度造成大的影響。
子模塊的複雜度Cp是一個經驗值,它關注幾個現象:
修改擴散,修改時有連鎖反應。
認知負擔,開發人員需要多長時間來理解功能模塊。
不可知(Unknown Unknowns),開發人員在接到任務時,不知道從哪裏入手。
造成複雜的原因一般是代碼依賴和晦澀(Obscurity)。其中,依賴是指某部分代碼不能被獨立地修改和理解,必定會牽涉到其他代碼。代碼晦澀,是指從代碼中難以找到重要信息。
三、解決複雜性的一般原則
首先,互聯網行業的軟件系統,很難一開始就做出完美的設計,通過一個個功能模塊衍生迭代,系統纔會逐步成型。對於現存的系統,也很難通過一個大動作,一勞永逸地解決所有問題。系統設計是需要持續投入的工作,通過細節的積累,最終得到一個完善的系統。因此,好的設計是日拱一卒的結果,在日常工作中要重視設計和細節的改進。

其次,專業化分工和代碼複用促成了軟件生產率的提升。比如硬件工程師、軟件工程師(底層、應用、不同編程語言)可以在無需瞭解對方技術背景的情況下進行合作開發;同一領域服務可以支撐不同的上層應用邏輯等等。其背後的思想,無非是通過將系統分成若干個水平層、明確每一層的角色和分工,來降低單個層次的複雜性。同時,每個層次只要給相鄰層提供一致的接口,可以用不同的方法實現,這就爲軟件重用提供了支持。分層是解決複雜性問題的重要原則。
第三,與分層類似,分模塊是從垂直方向來分解系統。分模塊最常見的應用場景,是如今廣泛流行的微服務。分模塊降低了單模塊的複雜性,但是也會引入新的複雜性,例如模塊與模塊的交互,後面的章節會討論這個問題。這裏,我們將第三個原則確定爲分模塊。
最後,代碼能夠描述程序的工作流程和結果,卻很難描述開發人員的思路,而註釋和文檔可以。此外,通過註釋和文檔,開發人員在不閱讀實現代碼的情況下,就可以理解程序的功能,註釋間接促成了代碼抽象。好的註釋能夠幫助解決軟件複雜性問題,尤其是認知負擔和不可知問題(Unknown Unknowns)。
四、解決複雜性之日拱一卒
4.1 拒絕戰術編程

戰術編程致力於完成任務,新增加特性或者修改Bug時,能解決問題就好。這種工作方式,會逐漸增加系統的複雜性。如果系統複雜到難以維護時,再去重構會花費大量的時間,很可能會影響新功能的迭代。
戰略編程,是指重視設計並願意投入時間,短時間內可能會降低工作效率,但是長期看,會增加系統的可維護性和迭代效率。
在這裏插入圖片描述
設計系統時,很難在開始階段就面面俱到。好的設計應該體現在一個個小的模塊上,修改Bug時,也應該抱着設計新系統的心態,完工後讓人感覺不到“修補”的痕跡。經過累積,最終形成一個完善的系統。從長期看,對於中大型的系統,將日常開發時間的10%-15%用於設計是值得的。有一種觀點認爲,創業公司需要追求業務迭代速度和節省成本,可以容忍糟糕的設計,這是用錯誤的方法去追求正確的目標。降低開發成本最有效的方式是僱傭優秀的工程師,而不是在設計上做妥協。
4.2 設計兩次
爲一個類、模塊或者系統的設計提供兩套或更多方案,有利於我們找到最佳設計。以我們日常的技術方案設計爲例,技術方案本質上需要回答兩個問題,其一,爲什麼該方案可行?其二,在已有資源限制下,爲什麼該方案是最優的?爲了回答第一個問題,我們需要在技術方案裏補充架構圖、接口設計和時間人力估算。而要回答第二個問題,需要我們在關鍵點或爭議處提供二到三種方案,並給出建議方案,這樣纔有說服力。

通常情況下,我們會花費很多的時間準備第一個問題,而忽略第二個問題。其實,回答好第二個問題很重要,大型軟件的設計已經複雜到沒人能夠一次就想到最佳方案,一個僅僅“可行”的方案,可能會給系統增加額外的複雜性。對聰明人來說,接受這點更困難,因爲他們習慣於“一次搞定問題”。但是聰明人遲早也會碰到自己的瓶頸,在低水平問題上徘徊,不如花費更多時間思考,去解決真正有挑戰性的問題。

五、解決複雜性之分層

5.1 層次和抽象

軟件系統由不同的層次組成,層次之間通過接口來交互。在嚴格分層的系統裏,內部的層只對相鄰的層次可見,這樣就可以將一個複雜問題分解成增量步驟序列。由於每一層最多影響兩層,也給維護帶來了很大的便利。分層系統最有名的實例是TCP/IP網絡模型。
在這裏插入圖片描述
在分層系統裏,每一層應該具有不同的抽象。TCP/IP模型中,應用層的抽象是用戶接口和交互;傳輸層的抽象是端口和應用之間的數據傳輸;網絡層的抽象是基於IP的尋址和數據傳輸;鏈路層的抽象是適配和虛擬硬件設備。如果不同的層具有相同的抽象,可能存在層次邊界不清晰的問題。
5.2 複雜性下沉
不應該讓用戶直面系統的複雜性,即便有額外的工作量,開發人員也應當儘量讓用戶使用起來更簡單。如果一定要在某個層次處理複雜性,這個層次越低越好。舉個例子,Thrift接口調用時,數據傳輸失敗需要引入自動重試機制,重試的策略顯然在Thrift內部封裝更合適,開放給用戶(下游開發人員)會增加額外的使用負擔。與之類似的是系統裏隨處可見的配置參數(通常寫在XML文件裏),在編程中應當儘量避免這種情況,用戶(下游開發人員)一般很難決定哪個參數是最優的,如果一定要開放參數配置,最好給定一個默認值。

複雜性下沉,並不是說把所有功能下移到一個層次,過猶不及。如果複雜性跟下層的功能相關,或者下移後,能大大下降其他層次或整體的複雜性,則下移。
5.3 異常處理

異常和錯誤處理是造成軟件複雜的罪魁禍首之一。有些開發人員錯誤的認爲處理和上報的錯誤越多越好,這會導致過度防禦性的編程。如果開發人員捕獲了異常並不知道如何處理,直接往上層扔,這就違背了封裝原則。
降低複雜度的一個原則就是儘可能減少需要處理異常的可能性。而最佳實踐就是確保錯誤終結,例如刪除一個並不存在的文件,與其上報文件不存在的異常,不如什麼都不做。確保文件不存在就好了,上層邏輯不但不會被影響,還會因爲不需要處理額外的異常而變得簡單。
六、解決複雜性之分模塊

分模塊是解決複雜性的重要方法。理想情況下,模塊之間應該是相互隔離的,開發人員面對具體的任務,只需要接觸和了解整個系統的一小部分,而無需瞭解或改動其他模塊。
6.1 深模塊和淺模塊

深模塊(Deep Module)指的是擁有強大功能和簡單接口的模塊。深模塊是抽象的最佳實踐,通過排除模塊內部不重要的信息,讓用戶更容易理解和使用。

Unix操作系統文件I/O是典型的深模塊,以Open函數爲例,接口接受文件名爲參數,返回文件描述符。但是這個接口的背後,是幾百行的實現代碼,用來處理文件存儲、權限控制、併發控制、存儲介質等等,這些對用戶是不可見的。

int open(const char* path, int flags, mode_t permissions);

與深模塊相對的是淺模塊(Shallow Module),功能簡單,接口複雜。通常情況下,淺模塊無助於解決複雜性。因爲他們提供的收益(功能)被學習和使用成本抵消了。以Java I/O爲例,從I/O中讀取對象時,需要同時創建三個對象FileInputStream、BufferedInputStream、ObjectInputStream,其中前兩個創建後不會被直接使用,這就給開發人員造成了額外的負擔。默認情況下,開發人員無需感知到BufferedInputStream,緩衝功能有助於改善文件I/O性能,是個很有用的特性,可以合併到文件I/O對象裏。假如我們想放棄緩衝功能,文件I/O也可以設計成提供對應的定製選項。

FileInputStream fileStream = new FileInputStream(fileName);
BufferedInputStream bufferedStream = new BufferedInputStream(fileStream);
ObjectInputStream objectStream = new ObjectInputStream(bufferedStream);

關於淺模塊有一些爭議,大多數情況是因爲淺模塊是不得不接受的既定事實,而不見得是因爲合理性。當然也有例外,比如領域驅動設計裏的防腐層,系統在與外部系統對接時,會單獨建立一個服務或模塊去適配,用來保證原有系統技術棧的統一和穩定性。

6.2 通用和專用

設計新模塊時,應該設計成通用模塊還是專用模塊?一種觀點認爲通用模塊滿足多種場景,在未來遇到預期外的需求時,可以節省時間。另外一種觀點則認爲,未來的需求很難預測,沒必要引入用不到的特性,專用模塊可以快速滿足當前的需求,等有後續需求時再重構成通用的模塊也不遲。
以上兩種思路都有道理,實際操作的時候可以採用兩種方式各自的優點,即在功能實現上滿足當前的需求,便於快速實現;接口設計通用化,爲未來留下餘量。舉個例子。

void backspace(Cursor cursor);
void delete(Cursor cursor);
void deleteSelection(Selection selection);

//以上三個函數可以合併爲一個更通用的函數
void delete(Position start, Position end);

設計通用性接口需要權衡,既要滿足當前的需求,同時在通用性方面不要過度設計。一些可供參考的標準:
滿足當前需求最簡單的接口是什麼?在不減少功能的前提下,減少方法的數量,意味着接口的通用性提升了。
接口使用的場景有多少?如果接口只有一個特定的場景,可以將多個這樣的接口合併成通用接口。
滿足當前需求情況下,接口的易用性如何?如果接口很難使用,意味着我們可能過度設計了,需要拆分。
6.3 信息隱藏
信息隱藏是指,程序的設計思路以及內部邏輯應當包含在模塊內部,對其他模塊不可見。如果一個模塊隱藏了很多信息,說明這個模塊在提供很多功能的同時又簡化了接口,符合前面提到的深模塊理念。軟件設計領域有個技巧,定義一個“大”類有助於實現信息隱藏。這裏的“大”類指的是,如果要實現某功能,將該功能相關的信息都封裝進一個類裏面。

信息隱藏在降低複雜性方面主要有兩個作用:一是簡化模塊接口,將模塊功能以更簡單、更抽象的方式表現出來,降低開發人員的認知負擔;二是減少模塊間的依賴,使得系統迭代更輕量。舉個例子,如何從B+樹中存取信息是一些數據庫索引的核心功能,但是數據庫開發人員將這些信息隱藏了起來,同時提供簡單的對外交互接口,也就是SQL腳本,使得產品和運營同學也能很快地上手。並且,因爲有足夠的抽象,數據庫可以在保持外部兼容的情況下,將索引切換到散列或其他數據結構。
與信息隱藏相對的是信息暴露,表現爲:設計決策體現在多個模塊,造成不同模塊間的依賴。舉個例子,兩個類能處理同類型的文件。這種情況下,可以合併這兩個類,或者提煉出一個新類(參考《重構》[3]一書)。工程師應當儘量減少外部模塊需要的信息量。
6.4 拆分和合並

兩個功能,應該放在一起還是分開?“不管黑貓白貓”,能降低複雜性就好。這裏有一些可以借鑑的設計思路:
共享信息的模塊應當合併,比如兩個模塊都依賴某個配置項。
可以簡化接口時合併,這樣可以避免客戶同時調用多個模塊來完成某個功能。
可以消除重複時合併,比如抽離重複的代碼到一個單獨的方法中。
通用代碼和專用代碼分離,如果模塊的部分功能可以通用,建議和專用部分分離。舉個例子,在實際的系統設計中,我們會將專用模塊放在上層,通用模塊放在下層以供複用。
七、解決複雜性之註釋
註釋可以記錄開發人員的設計思路和程序功能,降低開發人員的認知負擔和解決不可知(Unkown Unkowns)問題,讓代碼更容易維護。通常情況下,在程序的整個生命週期裏,編碼只佔了少部分,大量時間花在了後續的維護上。有經驗的工程師懂得這個道理,通常也會產出更高質量的註釋和文檔。

註釋也可以作爲系統設計的工具,如果只需要簡單的註釋就可以描述模塊的設計思路和功能,說明這個模塊的設計是良好的。另一方面,如果模塊很難註釋,說明模塊沒有好的抽象。
7.1 註釋的誤區

關於註釋,很多開發者存在一些認識上的誤區,也是造成大家不願意寫註釋的原因。比如“好代碼是自注釋的”、“沒有時間”、“現有的註釋都沒有用,爲什麼還要浪費時間”等等。這些觀點是站不住腳的。“好代碼是自注釋的”只在某些場景下是合理的,比如爲變量和方法選擇合適的名稱,可以不用單獨註釋。但是更多的情況,代碼很難體現開發人員的設計思路。此外,如果用戶只能通過讀代碼來理解模塊的使用,說明代碼裏沒有抽象。好的註釋可以極大地提升系統的可維護性,獲取長期的效率,不存在“沒有時間”一說。註釋也是一種可以習得的技能,一旦習得,就可以在後續的工作中應用,這就解決了“註釋沒有用”的問題。
7.2 使用註釋提升系統可維護性
註釋應當能提供代碼之外額外的信息,重視What和Why,而不是代碼是如何實現的(How),最好不要簡單地使用代碼中出現過的單詞。
根據抽象程度,註釋可以分爲低層註釋和高層註釋,低層次的註釋用來增加精確度,補充完善程序的信息,比如變量的單位、控制條件的邊界、值是否允許爲空、是否需要釋放資源等。高層次註釋拋棄細節,只從整體上幫助讀者理解代碼的功能和結構。這種類型的註釋更好維護,如果代碼修改不影響整體的功能,註釋就無需更新。在實際工作中,需要兼顧細節和抽象。低層註釋拆散與對應的實現代碼放在一起,高層註釋一般用於描述接口。
註釋先行,註釋應該作爲設計過程的一部分,寫註釋最好的時機是在開發的開始環節,這不僅會產生更好的文檔,也會幫助產生好的設計,同時減少寫文檔帶來的痛苦。開發人員推遲寫註釋的理由通常是:代碼還在修改中,提前寫註釋到時候還得再改一遍。這樣的話就會衍生兩個問題:

首先,推遲註釋通常意味着根本就沒有註釋。一旦決定推遲,很容易引發連鎖反應,等到代碼穩定後,也不會有註釋這回事。這時候再想添加註釋,就得專門抽出時間,客觀條件可能不會允許這麼做。
其次,就算我們足夠自律抽出專門時間去寫註釋,註釋的質量也不會很好。我們潛意識中覺得代碼已經寫完了,急於開展下一個項目,只是象徵性地添加一些註釋,無法準確復現當時的設計思路。
避免重複的註釋。如果有重複註釋,開發人員很難找到所有的註釋去更新。解決方法是,可以找到醒目的地方存放註釋文檔,然後在代碼處註明去查閱對應文檔的地址。如果程序已經在外部文檔中註釋過了,不要在程序內部再註釋了,添加註釋的引用就可以了。
註釋屬於代碼,而不是提交記錄。一種錯誤的做法是將功能註釋放在提交記錄裏,而不是放在對應代碼文件裏。因爲開發人員通常不會去代碼提交記錄裏去查看程序的功能描述,很不方便。
7.3 使用註釋改善系統設計

良好的設計基礎是提供好的抽象。在開始編碼前編寫註釋,可以幫助我們提煉模塊的核心要素:模塊或對象中最重要的功能和屬性。這個過程促進我們去思考,而不是簡單地堆砌代碼。另一方面,註釋也能夠幫助我們檢查自己的模塊設計是否合理,正如前文中提到,深模塊提供簡單的接口和強大的功能,如果接口註釋冗長複雜,通常意味着接口也很複雜;註釋簡單,意味着接口也很簡單。在設計的早期注意和解決這些問題,會爲我們帶來長期的收益。
八、後記

John Ousterhout累計寫過25萬行代碼,是3個操作系統的重要貢獻者,這些原則可以視爲作者編程經驗的總結。有經驗的工程師看到這些觀點會有共鳴,一些著作如《代碼大全》、《領域驅動設計》也會有類似的觀點。所以本文中提到的原則和方法具有一定實操和指導價值。對於很難有定論的問題,也可以在實踐中去探索。
關於原則和方法論,既不必刻意拔高,也不要嗤之以鼻。指導實踐的不是更多的實踐,而是實踐後的總結和思考。應用原則和方法論實質是借鑑已有的經驗,可以減少我們自行摸索的時間。探索新的方法可以幫助我們適應新的場景,但是新方法本身需要經過時間檢驗。
九、參考文檔

[1] John Ousterhout. A philosophy of software design. Yaknyam Press, 2018.
[2] 梅拉尼·米歇爾. 複雜. 湖南科學技術出版社, 2016.
[3] Martin Fowler. Refactoring: Improving the Design of Existing Code (2nd Edition) . Addison-Wesley Signature Series, 2018.
作者介紹

政華,順譜,陶鑫,美團打車調度系統工程團隊工程師。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章