數據結構與算法| 複雜度分析

 

是什麼：

　　數據結構指的是“一組數據的存儲結構”，算法指的是“操作數據的一組方法”。
　　數據結構是爲算法服務的，算法是要作用在特定的數據結構上的。

爲什麼要用：

　　使用合適的數據結構和算法。選用合適的數據結構和算法，特別是在處理體量非常龐大的數據的時候，可以極大提高計算效率。

20 個最常用的、最基礎數據結構與算法：

　　10 個數據結構：數組、鏈表、棧、隊列、散列表、二叉樹、堆、跳錶、圖、Trie 樹；

　　10 個算法：遞歸、排序、二分查找、搜索、哈希算法、貪心算法、分治算法、回溯算法、動態規劃、字符串匹配算法。

在學習數據結構和算法的過程中，學習它的“來歷”“自身的特點”“適合解決的問題”以及“實際的應用場景”，辯證地思考，多問爲什麼。。

如何分析、統計算法的執行效率和資源消耗？

　　數據結構和算法本身解決的是“快”和“省”的問題，即如何讓代碼運行得更快，如何讓代碼更省存儲空間。所以，執行效率是算法一個非常重要的考量指標。

使用時間、空間複雜度分析來衡量你編寫的算法代碼的執行效率。

　學習數據結構和算法的基石，就是要學會`複雜度分析`。知道怎麼去分析複雜度，才能作出正確的判斷，在特定的場景下選用合適的正確的算法。

 通過統計、監控，就能得到算法執行的時間和佔用的內存大小--（這種叫事後統計法，它有很大侷限性），爲什麼要用複雜度分析法呢？

①. 測試結果非常依賴測試環境； ②. 測試結果受數據規模的影響很大； 而時間、空間複雜度分析法不用具體的測試數據來測試，就可以粗略地估計算法的執行效率的方法。

大 O 複雜度表示法

求 1,2,3…n 的累加和。估算下這段代碼的執行時間：
    int cal(int n) {
        int sum = 0;
        int i = 1;
        for (; i <= n; ++i) {
            sum = sum + i;
        }
        return sum;
    }
從 CPU 的角度來看，這段代碼的每一行都執行着類似的操作：讀數據-運算-寫數據。儘管每行代碼對應的 CPU 執行的個數、執行的時間都不一樣，但是，我們這裏只是粗略估計，
所以可以假設每行代碼執行的時間都一樣，爲 unit_time。在這個假設的基礎之上，
第 2、3 行代碼分別需要 1 個 unit_time 的執行時間，第 4、5 行都運行了 n 遍，所以需要 2n*unit_time 的執行時間，
所以這段代碼總的執行時間就是 (2n+2)*unit_time。可以看出來，所有代碼的執行時間 T(n) 與每行代碼的執行次數成正比。

 

 1 int cal(int n) {
 2     int sum = 0;
 3     int i = 1;
 4     int j = 1;
 5     for (; i <= n; ++i) {
 6         j = 1;
 7         for (; j <= n; ++j) {
 8             sum = sum + i * j;
 9         }
10     }
11 }

第 2、3、4 行代碼，每行都需要 1 個 unit_time 的執行時間，第 5、6 行代碼循環執行了 n 遍，需要 2n * unit_time 的執行時間，
第 7、8 行代碼循環執行了 n2遍，所以需要 2n2 * unit_time 的執行時間。
所以，整段代碼總的執行時間 T(n) = (2n2+2n+3)*unit_time。
儘管我們不知道 unit_time 的具體值，但是通過這兩段代碼執行時間的推導過程，我們可以得到一個非常重要的規律，那就是，
所有代碼的執行時間 T(n) 與每行代碼的執行次數 n 成正比。

我們可以把這個規律總結成一個公式：

其中，T(n)表示代碼執行的時間；
n 表示數據規模的大小；
f(n) 表示每行代碼執行的次數總和。
因爲這是一個公式，所以用 f(n) 來表示。公式中的 O，表示代碼的執行時間 T(n) 與 f(n) 表達式成正比。
所以，第一個例子中的 T(n) = O(2n+2)，
　　  第二個例子中的 T(n) = O(2n2+2n+3)。
這就是大 O 時間複雜度表示法。大 O 時間複雜度實際上並不具體表示代碼真正的執行時間，而是表示代碼執行時間隨數據規模增長的變化趨勢，
　　　　　　　　　　　　　　所以，也叫作漸進時間複雜度（asymptotic time complexity），簡稱時間複雜度。

當 n 很大時，你可以把它想象成 10000、100000。而公式中的低階、常量、係數三部分並不左右增長趨勢，所以都可以忽略。我們只需要記錄一個最大量級就可以了，
如果用大 O 表示法表示剛講的那兩段代碼的時間複雜度，
就可以記爲：T(n) = O(n)； T(n) = O(n2)。

時間複雜度分析

1. 只關注循環執行次數最多的一段代碼

我剛纔說了，大 O 這種複雜度表示方法只是表示一種變化趨勢。我們通常會忽略掉公式中的常量、低階、係數，只需要記錄一個最大階的量級就可以了。所以，我們在分析一個算法、一段代碼的時間複雜度的時候，也只關注循環執行次數最多的那一段代碼就可以了。這段核心代碼執行次數的 n 的量級，就是整段要分析代碼的時間複雜度。

2. 加法法則：總複雜度等於量級最大的那段代碼的複雜度

3. 乘法法則：嵌套代碼的複雜度等於嵌套內外代碼複雜度的乘積

    乘法法則。類比一下

如果 T1(n)=O(f(n))，T2(n)=O(g(n))；那麼 T(n)=T1(n)*T2(n)=O(f(n))*O(g(n))=O(f(n)*g(n)).

也就是說，假設 T1(n) = O(n)，T2(n) = O(n2)，則 T1(n) * T2(n) = O(n3)。落實到具體的代碼上，我們可以把乘法法則看成是嵌套循環

幾種常見時間複雜度實例分析

   

可以粗略地分爲兩類，多項式量級和非多項式量級。其中，非多項式量級只有兩個：O(2n) 和 O(n!)。

　　我們把時間複雜度爲非多項式量級的算法問題叫作 NP（Non-Deterministic Polynomial，非確定多項式）問題。

當數據規模 n 越來越大時，非多項式量級算法的執行時間會急劇增加，求解問題的執行時間會無限增長。所以，非多項式時間複雜度的算法其實是非常低效的算法。因此，關於 NP 時間複雜度我就不展開講了。我們主要來看幾種常見的多項式時間複雜度。

1. O(1)

首先你必須明確一個概念，O(1) 只是常量級時間複雜度的一種表示方法。

只要代碼的執行時間不隨 n 的增大而增長，這樣代碼的時間複雜度我們都記作 O(1)。或者說，一般情況下，只要算法中不存在循環語句、遞歸語句，即使有成千上萬行的代碼，其時間複雜度也是Ο(1)。

2. O(logn)、O(nlogn)

對數階時間複雜度非常常見，同時也是最難分析的一種時間複雜度。

1     i=1;
2     while (i <= n) {
3     i = i * 2;
4 }

 

 通過 2x=n 求解 x ， x=log2n，所以，這段代碼的時間複雜度就是 O(log2n)

不管是以 2 爲底、以 3 爲底，還是以 10 爲底，我們可以把所有對數階的時間複雜度都記爲 O(logn)。

對數之間是可以互相轉換的，log3n 就等於 log32 * log2n，所以 O(log3n) = O(C * log2n)，其中 C=log32 是一個常量。基於我們前面的一個理論：在採用大 O 標記複雜度的時候，可以忽略係數，即 O(Cf(n)) = O(f(n))。所以，O(log2n) 就等於 O(log3n)。因此，在對數階時間複雜度的表示方法裏，我們忽略對數的“底”，統一表示爲 O(logn)。

O(nlogn) 就很容易理解了。還記得我們剛講的乘法法則嗎？如果一段代碼的時間複雜度是 O(logn)，我們循環執行 n 遍，時間複雜度就是 O(nlogn) 了。而且，O(nlogn) 也是一種非常常見的算法時間複雜度。比如，歸併排序、快速排序的時間複雜度都是 O(nlogn)。

3. O(m+n)、O(m*n)

我們再來講一種跟前面都不一樣的時間複雜度，代碼的複雜度由兩個數據的規模來決定

m 和 n 是表示兩個數據規模。我們無法事先評估 m 和 n 誰的量級大，所以我們在表示複雜度的時候，就不能簡單地利用加法法則，省略掉其中一個。所以，上面代碼的時間複雜度就是 O(m+n)。

針對這種情況，原來的加法法則就不正確了，我們需要將加法規則改爲：T1(m) + T2(n) = O(f(m) + g(n))。但是乘法法則繼續有效：T1(m)*T2(n) = O(f(m) * f(n))。

空間複雜度分析

時間複雜度的全稱是漸進時間複雜度，表示算法的執行時間與數據規模之間的增長關係。類比一下，空間複雜度全稱就是漸進空間複雜度（asymptotic space complexity），表示算法的存儲空間與數據規模之間的增長關係。

我們常見的空間複雜度就是 O(1)、O(n)、O(n2 )，像 O(logn)、O(nlogn) 這樣的對數階複雜度平時都用不到。而且，空間複雜度分析比時間複雜度分析要簡單很多。

        

 

淺析最好、最壞、平均、均攤時間複雜度

最好情況時間複雜度（best case time complexity）、最壞情況時間複雜度（worst case time complexity）、

平均情況時間複雜度（average case time complexity）、均攤時間複雜度（amortized time complexity）

最好、最壞情況時間複雜度

1 int find(int[] array, int n, int x) {
2     int i = 0;
3     int pos = -1;
4     for (; i < n; ++i) {
5         if (array[i] == x) pos = i;
6     }
7     return pos;
8 }

這段代碼要實現的功能是，在一個無序的數組（array）中，查找變量 x 出現的位置。如果沒有找到，就返回 -1。這段代碼的複雜度是 O(n)，其中，n 代表數組的長度。

我們在數組中查找一個數據，並不需要每次都把整個數組都遍歷一遍，因爲有可能中途找到就可以提前結束循環了。但是，這段代碼寫得不夠高效。我們可以這樣優化一下這段查找代碼。

 1 int find(int[] array, int n, int x) {
 2     int i = 0;
 3     int pos = -1;
 4     for (; i < n; ++i) {
 5         if (array[i] == x) {
 6             pos = i;
 7             break;
 8         }
 9     }
10     return pos;
11 }

要查找的變量 x 可能出現在數組的任意位置。如果數組中第一個元素正好是要查找的變量 x，那就不需要繼續遍歷剩下的 n-1 個數據了，那時間複雜度就是 O(1)。但如果數組中不存在變量 x，那我們就需要把整個數組都遍歷一遍，時間複雜度就成了 O(n)。所以，不同的情況下，這段代碼的時間複雜度是不一樣的。

爲了表示代碼在不同情況下的不同時間複雜度，我們需要引入三個概念：最好情況時間複雜度、最壞情況時間複雜度和平均情況時間複雜度。

顧名思義，最好情況時間複雜度就是，在最理想的情況下，執行這段代碼的時間複雜度。就像我們剛剛講到的，在最理想的情況下，要查找的變量 x 正好是數組的第一個元素，這個時候對應的時間複雜度就是最好情況時間複雜度。

同理，最壞情況時間複雜度就是，在最糟糕的情況下，執行這段代碼的時間複雜度。就像剛舉的那個例子，如果數組中沒有要查找的變量 x，我們需要把整個數組都遍歷一遍才行，所以這種最糟糕情況下對應的時間複雜度就是最壞情況時間複雜度。

平均情況時間複雜度

要查找的變量 x 在數組中的位置，有 n+1 種情況：在數組的 0～n-1 位置中和不在數組中。我們把每種情況下，查找需要遍歷的元素個數累加起來，然後再除以 n+1，就可以得到需要遍歷的元素個數的平均值，即：

(1+2+3+4+...+n+n)/(n+1) = n(n+1

我們知道，時間複雜度的大 O 標記法中，可以省略掉係數、低階、常量，所以，咱們把剛剛這個公式簡化之後，得到的平均時間複雜度就是 O(n)。

這個結論雖然是正確的，但是計算過程稍微有點兒問題。究竟是什麼問題呢？我們剛講的這 n+1 種情況，出現的概率並不是一樣的。我帶你具體分析一下。（這裏要稍微用到一點兒概率論的知識，不過非常簡單，你不用擔心。）

我們知道，要查找的變量 x，要麼在數組裏，要麼就不在數組裏。這兩種情況對應的概率統計起來很麻煩，爲了方便你理解，我們假設在數組中與不在數組中的概率都爲 1/2。另外，要查找的數據出現在 0～n-1 這 n 個位置的概率也是一樣的，爲 1/n。所以，根據概率乘法法則，要查找的數據出現在 0～n-1 中任意位置的概率就是 1/(2n)。

因此，前面的推導過程中存在的最大問題就是，沒有將各種情況發生的概率考慮進去。如果我們把每種情況發生的概率也考慮進去，那平均時間複雜度的計算過程就變成了這樣：

            

這個值就是概率論中的加權平均值，也叫作期望值，所以平均時間複雜度的全稱應該叫加權平均時間複雜度或者期望時間複雜度。

引入概率之後，前面那段代碼的加權平均值爲 (3n+1)/4。用大 O 表示法來表示，去掉係數和常量，這段代碼的加權平均時間複雜度仍然是 O(n)。

你可能會說，平均時間複雜度分析好複雜啊，還要涉及概率論的知識。實際上，在大多數情況下，我們並不需要區分最好、最壞、平均情況時間複雜度三種情況。像我們上一節課舉的那些例子那樣，很多時候，我們使用一個複雜度就可以滿足需求了。只有同一塊代碼在不同的情況下，時間複雜度有量級的差距，我們纔會使用這三種複雜度表示法來區分。

均攤時間複雜度

到此爲止，你應該已經掌握了算法複雜度分析的大部分內容了。下面我要給你講一個更加高級的概念，均攤時間複雜度，以及它對應的分析方法，攤還分析（或者叫平攤分析）。

均攤時間複雜度，聽起來跟平均時間複雜度有點兒像。對於初學者來說，這兩個概念確實非常容易弄混。我前面說了，大部分情況下，我們並不需要區分最好、最壞、平均三種複雜度。平均複雜度只在某些特殊情況下才會用到，而均攤時間複雜度應用的場景比它更加特殊、更加有限。

往數組中插入數據的功能。當數組滿了之後，也就是代碼中的 count == array.length 時，我們用 for 循環遍歷數組求和，並清空數組，將求和之後的 sum 值放到數組的第一個位置，然後再將新的數據插入。但如果數組一開始就有空閒空間，則直接將數據插入數組。

那這段代碼的時間複雜度是多少呢？你可以先用我們剛講到的三種時間複雜度的分析方法來分析一下。

最理想的情況下，數組中有空閒空間，我們只需要將數據插入到數組下標爲 count 的位置就可以了，所以最好情況時間複雜度爲 O(1)。最壞的情況下，數組中沒有空閒空間了，我們需要先做一次數組的遍歷求和，然後再將數據插入，所以最壞情況時間複雜度爲 O(n)。

那平均時間複雜度是多少呢？答案是 O(1)。我們還是可以通過前面講的概率論的方法來分析。

假設數組的長度是 n，根據數據插入的位置的不同，我們可以分爲 n 種情況，每種情況的時間複雜度是 O(1)。除此之外，還有一種“額外”的情況，就是在數組沒有空閒空間時插入一個數據，這個時候的時間複雜度是 O(n)。而且，這 n+1 種情況發生的概率一樣，都是 1/(n+1)。所以，根據加權平均的計算方法，我們求得的平均時間複雜度就是：

    

 

對一個數據結構進行一組連續操作中，大部分情況下時間複雜度都很低，只有個別情況下時間複雜度比較高，而且這些操作之間存在前後連貫的時序關係，這個時候，我們就可以將這一組操作放在一塊兒分析，看是否能將較高時間複雜度那次操作的耗時，平攤到其他那些時間複雜度比較低的操作上。而且，在能夠應用均攤時間複雜度分析的場合，一般均攤時間複雜度就等於最好情況時間複雜度。

儘管很多數據結構和算法書籍都花了很大力氣來區分平均時間複雜度和均攤時間複雜度，但均攤時間複雜度就是一種特殊的平均時間複雜度，我們沒必要花太多精力去區分它們。你最應該掌握的是它的分析方法，攤還分析。至於分析出來的結果是叫平均還是叫均攤，這只是個說法，並不重要。