數據結構與算法之美 - 03 | 複雜度分析（上）：如何分析、統計算法的執行效率和資源消耗？

這系列相關博客，參考 數據結構與算法之美

我們都知道，數據結構和算法本身解決的是”快”和”省”的問題，即如何讓代碼運行得更快，如何讓代碼更省 存儲空間。所以，執行效率是算法一個非常重要的考量指標。那如何來衡量你編寫的算法代碼的執行效率呢？這裏就要用到我們今天要講的內容：時間、空間複雜度分析。

其實，只要講到數據結構與算法，就一定離不開時間、空間複雜度分析。而且，我個人認爲，複雜度分析是整個算法學習的精髓，只要掌握了它，數據結構和算法的內容基本上就掌握了一半。

複雜度分析實在太重要了，因此我準備用兩節內容來講。希望你學完這個內容之後，無論在任何場景下，面對任何代碼的複雜度分析，你都能做到”庖丁解牛”般遊刃有餘。

爲什麼需要複雜度分析？

你可能會有些疑惑，我把代碼跑一遍，通過統計、監控，就能得到算法執行的時間和佔用的內存大小。爲什麼還要做時間、空間複雜度分析呢？這種分析方法能比我實實在在跑一遍得到的數據更準確嗎？

首先，我可以肯定地說，你這種評估算法執行效率的方法是正確的。很多數據結構和算法書籍還給這種方法起了一個名字，叫事後統計法。但是，這種統計方法有非常大的侷限性。

1.測試結果非常依賴測試環境

測試環境中硬件的不同會對測試結果有很大的影響。比如，我們拿同樣一段代碼，分別用 Intel Core i9 處理器和 Intel Core i3 處理器來運行，不用說，i9處理器要比i3處理器執行的速度快很多。還有，比如原本在這臺機器上a代碼執行的速度比b代碼要快，等我們換到另一臺機器上時，可能會有截然相反的結果。

2 .測試結果受數據規模的影響很大

後面我們會講排序算法，我們先拿它舉個例子。對同一個排序算法，待排序數據的有序度不一樣，排序的執行時間就會有很大的差別。極端情況下，如果數據已經是有序的，那排序算法不需要做任何操作，執行時間就會非常短。除此之外，如果測試數據規模太小，測試結果可能無法真實地反應算法的性能。比如，對於小規模的數據排序，插入排序可能反倒會比快速排序要快！

所以，我們需要一個不用具體的測試數據來測試，就可以粗略地估計算法的執行效率的方法。這就是我們今天要講的時間、空間複雜度分析方法。

大O複雜度表示法

算法的執行效率，粗略地講，就是算法代碼執行的時間。但是，如何在不運行代碼的情況下，用”肉眼”得到一段代碼的執行時間呢？

這裏有段非常簡單的代碼，求1，2，3…n的累加和。現在，我就帶你一塊來估算一下這段代碼的執行時間。

int cal(int n) {
	int sum = 0; 
	int i = 1; 
	for (; i <= n; ++i) { 
		sum = sum + i; 
	} 
	return sum; 
}

從CPU的角度來看，這段代碼的每一行都執行着類似的操作：讀數據-運算-寫數據。儘管每行代碼對應的CPU執行的個數、執行的時間都不一樣，但是，我們這裏只是粗略估計，所以可以假設每行代碼執行的時間都一樣，爲 unit_time。在這個假設的基礎之上，這段代碼的總執行時間是多少呢？

第2、3行代碼分別需要1個unit_time的執行時間，第4、5行都運行了n遍，所以需要 2n*unit_time 的執行時間， 所以這段代碼總的執行時間就是 (2n + 2)*unit_time。可以看出來，所有代碼的執行時間T(n)與每行代碼的執行次數成正比。

按照這個分析思路，我們再來看這段代碼。

int cal(int n) { 
	int sum = 0; 
	int i = 1; 
	int j = 1; 
	for (; i <= n; ++i) ( 
		for (; j <= n; ++j) { 
			sum = sum + j; 
		}
	}
	return sum;
}

我們依I日假設每個語句的執行時間是unit_time。那這段代碼的總執行時間T(n)是多少呢？

第2、3、4行代碼，每行都需要1個unit_time的執行時間，第5、6行代碼循環執行了n遍，需要 2n * unit_time 的執行時間，第7、8行代碼循環執行了$n^{2}$遍，所以需要 $2n^{2}$ * unit_time 的執行時間。所以，整段代碼總的執行時
間 T(n) = ($2n^{2}$+2n+3)*unit_time。

儘管我們不知道unit_time的具體值，但是通過這兩段代碼執行時間的推導過程，我們可以得到一個非常重要的規律，那就是，所有代碼的執行時間T(n)與每行代碼的執行次數n成正比。

我們可以把這個規律總結成一個公式。注意，大O就要登場了 !

我來具體解釋一下這個公式。其中，T(n)我們已經講過了，它表示代碼執行的時間；n表示數據規模的大小；f(n) 表示每行代碼執行的次數總和。因爲這是一個公式，所以用f(n)來表示。公式中的O，表示代碼的執行時間T(n)與 f(n)表達式成正比。

所以，第一個例子中的T(n) = O(2n + 2)，第二個例子中的T(n)=O($2n^{2}$+2n + 3)。這就是大O時間複雜度表示法。大O時間複雜度實際上並不具體表示代碼真正的執行時間，而是表示代碼執行時間隨數據規模增長的變化趨勢，所以，也叫作漸進時間複雜度(asymptotic time complexity)，簡稱時間複雜度。

當n很大時，你可以把它想象成10000、100000。而公式中的低階、常量、係數三部分並不左右增長趨勢，所以都可以忽略。我們只需要記錄一個最大量級就可以了，如果用大O表示法表示剛講的那兩段代碼的時間複雜度，就可以記爲：T(n)=O(n) ; T(n)=O($n^{2}$)。

時間複雜度分析

前面介紹了大O時間複雜度的由來和表示方法。現在我們來看下，如何分析一段代碼的時間複雜度？我這兒有三個比較實用的方法可以分享給你。

1. 只關注循環執行次數最多的一段代碼

我剛纔說了，大O這種複雜度表示方法只是表示一種變化趨勢。我們通常會忽略掉公式中的常量、低階、係數，只需要記錄一個最大階的量級就可以了。所以，我們在分析一個算法、一段代碼的時間複雜度的時候，也只關注循環執行次數最多的那一段代碼就可以了。這段核心代碼執行次數的n的量級，就是整段要分析代碼的時間複雜度。

爲了便於理解，還拿前面的例子來說明。

int cal(int n) {
	int sum = 0; 
	int i = 1; 
	for (; i <= n; ++i) { 
		sum = sum + i; 
	} 
	return sum; 
}

其中第2、3行代碼都是常量級的執行時間，與n的大小無關，所以對於複雜度並沒有影響。循環執行次數最多的是第4、5行代碼，所以這塊代碼要重點分析。前面我們也講過，這兩行代碼被執行了n次，所以總的時間複雜度就是O(n)。

2. 加法法則：總複雜度等於量級最大的那段代碼的複雜度
我這裏還有一段代碼。你可以先試着分析一下，然後再往下看跟我的分析思路是否一樣。

int cal (int n) { 
	int sum_1 = 0; 
	int p = 1; 
	for (; p < 100; ++p) { 
		sum_1 = sum_1 + p; 
	} 
	int sum_2 = 0;  
	int q = 1;
	for (; q <= n; ++q) { 
		sum_2 = sum_2 + q; 
	} 
	int sum_3 = 0;  
	int r = 1;
	int s = 1;
	for (; r <= n; ++r) { 
		for (; s <= n; ++s) { 
		sum_3 = sum_3 + q; 
		} 
	} 

這個代碼分爲三部分，分別是求sum_1、sum_2、sum_3。我們可以分別分析每一部分的時間複雜度，然後把它們放到一塊兒，再取一個量級最大的作爲整段代碼的複雜度。

第一段的時間複雜度是多少呢？這段代碼循環執行了100次，所以是一個常量的執行時間，跟n的規模無關。

這裏我要再強調一下，即便這段代碼循環10000次、100000次，只要是一個已知的數，跟n無關，照樣也是常量級的執行時間。當n無限大的時候，就可以忽略。儘管對代碼的執行時間會有很大影響，但是回到時間複雜度的概念來說，它表示的是一個算法執行效率與數據規模增長的變化趨勢，所以不管常量的執行時間多大，我們都可以忽略掉。因爲它本身對增長趨勢並沒有影響。

那第二段代碼和第三段代碼的時間複雜度是多少呢？答案是O(n)和O($n^{2}$)，你應該能容易就分析出來，我就不囉嗦了。

綜合這三段代碼的時間複雜度，我們取其中最大的量級。所以，整段代碼的時間複雜度就爲O($n^{2}$)。也就是說： 總的時間複雜度就等於量級最大的那段代碼的時間複雜度。那我們將這個規律抽象成公式就是： 如果T1(n)=O(f(n))， T2(n)=O(g(n))；那麼T(n)=T1(n)+T2(n)=max(O(f(n))，O(g(n)))=O(max(f(n)，g(n)))。

3. 乘法法則：嵌套代碼的複雜度等於嵌套內外代碼複雜度的乘積

我剛講了一個複雜度分析中的加法法則，這兒還有一個乘法法則。類比一下，你應該能”猜到”公式是什麼樣子的吧？

如果T1(n)=O(f(n))，T2(n)=O(g(n))；那麼T(n)=T1(n)*T2(n)=O(f(n))*O(g(n))=O(f(n)*g(n))。

也就是說，假設T1(n) = O(n)，T2(n)=O($n^{2}$)，則 T1(n) * T2(n) = O($n^{3}$)。落實到具體的代碼上，我們可以把乘法法則看成是嵌套循環，我舉個例子給你解釋一下。

 int cal(int n) { 
 	int ret = 0; 
 	int i = 1; 
 	for (; i < n; ++i) { 
		ret = ret + f(i);
	}
}
int f(int n) { 
	int sum = 0;
	int i = 1; 
 	for (; i < n; ++i) { 
		sum = sum + i;
	}
	return sum;
}

我們單獨看cal()函數。假設f()只是一個普通的操作，那第4 ~ 6行的時間複雜度就是，T1(n) = O(n)。但f()函數本身不是一個簡單的操作，它的時間複雜度是T2(n)=O(n)，所以，整個cal()函數的時間複雜度就是，T(n)=T1(n) * T2(n)= O(n*n)= O($n^{2}$)。

我剛剛講了三種複雜度的分析技巧。不過，你並不用刻意去記憶。實際上，複雜度分析這個東西關鍵在於”熟練"。你只要多看案例，多分析，就能做到”無招勝有招"。

幾種常見時間複雜度實例分析

雖然代碼千差萬別，但是常見的複雜度量級並不多。我稍微總結了一下，這些複雜度量級幾乎涵蓋了你今後可以接觸的所有代碼的複雜度量級。

對於剛羅列的複雜度量級，我們可以粗略地分爲兩類，多項式量級和非多項式量級。其中，非多項式量級只有兩個: O($2^{n}$)和O(n!)。

當數據規模n越來越大時，非多項式量級算法的執行時間會急劇增加，求解問題的執行時間會無限增長。所以， 非多項式時間複雜度的算法其實是非常低效的算法。因此，關於NP時間複雜度我就不展開講了。我們主要來看幾種常見的多項式時間複雜度。

1. O(1)

首先你必須明確一個概念，O(1)只是常量級時間複雜度的一種表示方法，並不是指只執行了一行代碼。比如這段代碼，即便有3行，它的時間複雜度也是0(1)，而不是0(3)。

int i = 8; 
int j = 6; 
int sum = i + j;

我稍微總結一下，只要代碼的執行時間不隨n的增大而增長，這樣代碼的時間複雜度我們都記作0(1)。或者說，—般情況下，只要算法中不存在循環語句、遞歸語句，即使有成千上萬行的代碼，其時間複雜度也是O(1)。

2. O(logn)、O(nlogn)

對數階時間複雜度非常常見，同時也是最難分析的一種時間複雜度。我通過一個例子來說明一下。

i=1; 
while (i <= n) { 
	i = i * 2; 
}

根據我們前面講的複雜度分析方法，第三行代碼是循環執行次數最多的。所以，我們只要能計算出這行代碼被執行了多少次，就能知道整段代碼的時間複雜度。

從代碼中可以看出，變量i的值從1開始取，每循環一次就乘以2。當大於n時，循環結束。還記得我們高中學過的等比數列嗎？實際上，變量i的取值就是一個等比數列。如果我把它一個一個列出來，就應該是這個樣子的：

所以，我們只要知道x值是多少，就知道這行代碼執行的次數了。通過($2^{x}$=n求解x這個問題我們想高中應該就學過了 ，我就不多說了。x=$log_{2}n$ ，所以，這段代碼的時間複雜度就是O($log_{2}n$)。

現在，我把代碼稍微改下，你再看看，這段代碼的時間複雜度是多少?

i=l; 
while (i <= n) {
	i = i * 3; 
}

根據我剛剛講的思路，很簡單就能看出來，這段代碼的時間複雜度爲O($log_{3}n$)。

實際上，不管是以2爲底、以3爲底，還是以10爲底，我們可以把所有對數階的時間複雜度都記爲O(logn)。爲什麼呢？

我們知道，對數之間是可以互相轉換的，$log_{3}n$就等$log_{3}2$ * $log_{2}n$ ，所以O($log_{3}n$) = O(C * $log_{2}n$)，其中 C = $log_{3}2$是一個常量。基於我們前面的一個理論：在採用大O標記複雜度的時候，可以忽略係數，即O(Cf(n)) = O(f(n))。所以，O($log_{2}n$)就等於O($log_{3}n$)。因此，在對數階時間複雜度的表示方法裏，我們忽略對數的”底”，統一表示爲O(logn)。

如果你理解了我前面講的O(logn)，那O(nlogn)就很容易理解了。還記得我們剛講的乘法法則嗎？如果一段代碼的時間複雜度是O(logn)，我們循環執行n遍，時間複雜度就是O(nlogn)了。而且，O(nlogn)也是一種非常常見的算法時間複雜度。比如，歸併排序、快速排序的時間複雜度都是O(nlogn)。

3. O(m + n)、O(m*n)

我們再來講一種跟前面都不一樣的時間複雜度，代碼的複雜度由兩個數據的規模來決定。老規矩，先看代碼!

int cal(int m， int n) { 
	int sum_1 = 0; 
	int i = 1; 
	for (; i < m; ++i) ( 
		sum_1 = sum_1 + i; 
	} 
	int sum_2 = 0; 
	int j = 1; 
	for (; j < n; ++j) ( 
		sum_2 = sum_2 + j; 
	} 
}

從代碼中可以看出，m和n是表示兩個數據規模。我們無法事先評估m和n誰的量級大，所以我們在表示複雜度的時候，就不能簡單地利用加法法則，省略掉其中一個。所以，上面代碼的時間複雜度就是O(m + n)。

針對這種情況，原來的加法法則就不正確了，我們需要將加法規則改爲：T1(m) + T2(n) = O(f(m) + g(n))。但是乘法法則繼續有效:T1(m) * T2(n) = O(f(m) * f(n))。

空間複雜度分析

前面，咱們花了很長時間講大O表示法和時間複雜度分析，理解了前面講的內容，空間複雜度分析方法學起來就非常簡單了。

前面我講過，時間複雜度的全稱是漸進時間複雜度，表示算法的執行時間與數據規模之間的增長關係。類比一下，空間複雜度全稱就是漸進空間複雜度(asymptotic space complexity)，表示算法的存儲空間與數據規模之間的增長關係。

我還是拿具體的例子來給你說明。(這段代碼有點”傻”，一般沒人會這麼寫，我這麼寫只是爲了方便給你解釋。)

void print(int n) { 
	int i = 0; 
	int[]a = new int[n]; 
	for (i; i <n; ++i) {
		a[i] = i * i; 
	} 
	for (i = n-l; i >= 0; --i) {
		print out
	}
]

跟時間複雜度分析一樣，我們可以看到，第2行代碼中，我們申請了一個空間存儲變量i ，但是它是常量階的，跟數據規模n沒有關係，所以我們可以忽略。第3行申請了一個大小爲n的int類型數組，除此之外，剩下的代碼都沒有佔用更多的空間，所以整段代碼的空間複雜度就是O(n)。

我們常見的空間複雜度就是O⑴、O(n)、O($n^{2}$)，像O(logn)、O(nlogn)這樣的對數階複雜度平時都用不到。而 且，空間複雜度分析比時間複雜度分析要簡單很多。所以，對於空間複雜度，掌握剛我說的這些內容已經足夠了。

內容小結

基礎複雜度分析的知識到此就講完了，我們來總結一下。

複雜度也叫漸進複雜度，包括時間複雜度和空間複雜度，用來分析算法執行效率與數據規模之間的增長關係，可以粗略地表示，越高階複雜度的算法，執行效率越低。常見的複雜度並不多，從低階到高階有：O(1)、O(logn)、O(n)、O(nlogn)、O($n^{2}$)。等你學完整個專欄之後，你就會發現幾乎所有的數據結構和算法的複雜度都跑不出這幾個。

複雜度分析並不難，關鍵在於多練。之後講後面的內容時，我還會帶你詳細地分析每一種數據結構和算法的時間、空間複雜度。只要跟着我的思路學習、練習，你很快就能和我一樣，每次看到代碼的時候，簡單的一眼就能看出其複雜度，難的稍微分析一下就能得出答案。

課後思考

有人說，我們項目之前都會進行性能測試，再做代碼的時間複雜度、空間複雜度分析，是不是多此一舉呢？而且，每段代碼都分析一下時間複雜度、空間複雜度，是不是很浪費時間呢？你怎麼看待這個問題呢？