作者 謝恩銘，公衆號「程序員聯盟」。
轉載請註明出處。
原文：https://www.jianshu.com/p/3e5e987c7e05
內容簡介
- 大 O 符號
- 時間複雜度和空間複雜度
- 最壞情況下的複雜度
- 第一部分第五課預告
1. 大 O 符號
上一課 數據結構和算法 | 第一部分第三課：算法複雜度（上） 我們開始了算法複雜度的學習，這一課我們繼續學習後半段。
我們已經看到，複雜度只考慮操作數目的一個數量級（忽略了其他的組分），這是一種近似。
爲了表示這種近似，我們使用一個特定的符號，就是著名的 大 O 符號。
大 O 符號（Big O notation），又稱爲漸進符號，是用於描述函數漸近行爲的數學符號。更確切地說，它是用另一個（通常更簡單的）函數來描述一個函數數量級的漸近上界。
在數學中，它一般用來刻畫被截斷的無窮級數尤其是漸近級數的剩餘項。
在計算機科學中，它在分析算法複雜度的方面非常有用。
大 O 符號是由德國數論學家 保羅·巴赫曼（Paul Bachmann）在其 1892 年的著作《解析數論》（Analytische Zahlentheorie）首先引入的。而這個記號則是在另一位德國數論學家 艾德蒙·朗道（Edmund Landau）的著作中才推廣的，因此它有時又稱爲 朗道符號（Landau Notation）。
代表“order of …”（…階）的大 O，最初是一個大寫希臘字母“Ο”（Omicron），現今用的是大寫拉丁字母“O”。
– 摘自 百度百科
例如，小鴨子們去度假這個故事裏，農夫 Oscar 的第一種算法有 N2 個操作，我們就說此算法的複雜度是 O(N2)。類似地，第二種更快的算法的複雜度是 O(N)。
大 O 符號有點像一個大圓形的袋子，可以把不同的操作數目整合在一起，使之具有一個同樣的數量級。
例如，如果有三個算法，它們的操作數目分別爲 N，5N + 7 和 N / 4，我們就都用 O(N) （讀作 “N 的 大 O”。當然了，讀法其實不是那麼固定）來表示這三個算法的複雜度。
類似地，如果一個算法的操作數是（2 * N2 + 5 * N + 7），那麼它的複雜度是 O(N2)：我們忽略了 5 * N 和 7 這兩項，因爲它們與 2N2 相比數量級較小。隨着 N 的增大，這兩項的增長速率比 2N2 要慢，因此我們保留 2N2 即可，又因爲常數乘法因子（這裏是 2）不予考慮，因此記爲 O(N2)。
我們說 f(N) 表示“N 的函數”（例如， f(N) = 2 * N2 + 5 * N + 7) ），那麼 O(f(N)) 表示的是“大約有 f(N) 個操作的算法的複雜度”，這裏的“大約”是非常關鍵的。
2. 時間複雜度和空間複雜度
下面我們來學習算法中常聽到的“時間複雜度”和“空間複雜度”。
爲什麼我竟然想到了漫威裏面的大反派滅霸的無限手套呢？上面有時間寶石和空間寶石這兩顆無限寶石。
一定是因爲我看了《復仇者聯盟3：無限戰爭》和《復仇者聯盟4：終局之戰》的關係…
那麼“時間複雜度”和“空間複雜度”這一對“活寶”到底是啥意思呢？且聽我慢慢道來。
“在很久很久以前，宇宙中有 6 顆無限寶石，分別是時間寶石、空間寶石…”
讀者：“小編，你快醒醒，講正經的！”
我：“好，好，講正經的，講正經的～”
爲了儘可能精確地表達算法的複雜度，我們可以做很多選擇。
首先，我們選擇輸入條件的量化，例如通過變量 N（N 行 N 列小鴨子，N 個學生，N 架飛機，等）。當然了，不一定要用 N 這個變量名，我們可以選擇其他變量名（比如 M，Z，X，Y 等），但更重要的是我們也可以不止用一個變量。
例如，如果我們的問題是要在一張紙上畫畫，那麼我們可能會將算法的複雜度表達爲畫紙的長度 L 和寬度 W 的函數。同樣地，如果農夫 Oscar 擁有比可用的池塘數目更多的小鴨子的行數，那麼他可以將算法的複雜度表達爲小鴨子的行數 N 和池塘數 P 的函數。
另一個重要的選擇是要度量的操作的類型。到目前爲止，我們其實只談論了算法的效率或性能（就是算法快不快）。但是，程序員不僅對算法的執行時間感興趣，他們也可能會度量許多其他特性，最常見的是內存消耗（Memory Consumption）。
算法的內存消耗也是度量算法複雜度的標準。例如，如果需要爲一個輸入大小爲 N 的算法分配 N 千字節（KiloByte，千字節，簡稱 KB。其實是 1024 個字節）的內存，則此算法的內存複雜度可以表示爲 O(N)。
內存複雜度是和算法的內存消耗有關的複雜度，度量的並不是算法的效率，而是消耗/佔用的內存空間大小，因此我們把它稱爲算法的空間複雜度（Space Complexity）。相對的，之前我們討論的對於算法的執行速度（快不快）的度量是用的時間複雜度（Time Complexity）。
空間複雜度是對一個算法在運行過程中臨時佔用存儲空間大小的度量，記做 S(N) = O(f(N))。
相對的，算法的時間複雜度就記爲 T(N) = O(f(N))。
因爲 S 是 Space（空間）的首字母，T 是 Time（時間）的首字母。
在計算算法的空間複雜度的時候，我們其實也不知道算法所消耗/佔用的具體的內存大小（內存是以字節（Byte）爲單位），我們計算的是算法所使用的（數據）結構的數量級。
比如說你使用 N 個大小爲 N 的數組，那麼其空間複雜度爲 O(N2)。
例如，對於小鴨子們去度假的那個故事，可能農夫 Oscar 給他的每隻小鴨子都起了一個英文名字。他隨身攜帶着一份小鴨子的名字的表單，以免自己忘記。
上面的表格是農夫 Oscar 用來記錄小鴨子們的名字的表單的一個直觀的表示：一共有 5 個名字（HARRY，JAMES，HENRY，EMILY，ALICE），分別對應 5 只小鴨子。表格裏的每一行儲存一個名字，每一行有 5 個格子（類似於數組的 5 個元素），5 x 5 = 25 個格子，一個格子裏是一個英文字符。
如果聯繫到計算機的內存層面，N 只小鴨子需要 N 個數組來保存它們的名字，每個數組裏是一隻小鴨子的名字（都是英文字符），而數組的大小（這裏是字符數）都統一爲 N。所以這裏的空間複雜度爲 O(N2)。
有些時候，我們需要同時考慮算法的時間複雜度（執行速度）和空間複雜度（執行期間佔用的內存空間的大小）。
一般在比較簡單的情況下，我們對算法的空間複雜度沒有那麼關注。但對於更復雜的問題，算法的空間複雜度也許會引起更多的重視：例如，我們也許會通過犧牲一點執行速度來使用更少的內存；或者甚至通過增加算法的空間複雜度來提高執行速度，例如通過在表中存儲已經計算好的結果（緩存（cache）的原理）。
對程序的約束越多，所需的信息就越精確。在計算機科學的某些領域，我們也會對算法的其他特徵感興趣。而這些特徵中的某些也可以用算法的某種複雜度來度量。例如，大型計算機或嵌入式系統的程序員可能會考慮算法的功耗，以節省電量。
然而，在一般情況下，我們只關注算法的時間複雜度和空間複雜度，甚至主要關注時間複雜度。
3. 最壞情況下的複雜度
正如我們之前所說，算法執行的操作數目很明顯取決於起始條件。
例如，下面是一個非常簡單的算法，用於獲知一個給定的值是否在值列表中（例如，“我是否已將雞蛋加入我的購物清單？”）：
爲了獲知一個給定的值是否在值列表中，我們可以這麼做：
遍歷整個列表，在找到給定值的時候即可停下，表示值在列表中；
如果我們已經遍歷完整個列表，仍然沒有找到給定值，那麼說明給定的值不在值列表中。
想象一下，如果我們要查找的值不在列表中，並且列表裏有 L 個元素。那麼要確定這個值是否存在，算法就必須遍歷一遍整個列表，將每個值與要查找的值進行比較，那將需要進行 L 次比較。因此，我們可以說算法具有 O(L) 的複雜度（很明顯，這裏考慮的是時間複雜度）。我們也可以說，此算法的時間複雜度是呈線性的（如果我們將輸入列表的大小加倍，那麼此算法將花費兩倍的時間）。
但是，如果要查找的值位於列表的最開頭，會怎麼樣呢？
例如，如果“雞蛋”是我們的購物清單中的第一個元素，它會立即被注意到，我們將僅在進行一次操作後就停止遍歷。在其他情況下，即使列表包含 3000 個元素，可能我們的搜索工作也會在 4 到 5 次操作後停止。
這就是 “最壞情況”（Worst Case）的概念發揮作用的地方：在計算算法的複雜度時，可以認爲給定的輸入對於我們的算法來說是處於“最壞的情況”。我們將計算需要最多操作（而不僅僅是一個或兩個）的輸入情況下的操作數，例如給定值不在列表裏的情況。
從程序員的角度來看，這是一種安全性：計算出的複雜度處於“最壞情況”，因此他知道算法的表現只會更好。
就像網絡安全領域的程序員會通過自問“最心懷惡意的用戶可能會通過輸入什麼文本來入侵我的網站？”這樣的問題來敦促自己提升應用程序的安全性一樣，專注於算法研究的人也想知道“到底是算法中的哪個元素花了我的算法的大部分時間？”
這種方法可以度量所謂的“最壞情況下的複雜度”。
在本教程中，除非明確指出，我們只考慮算法在最壞情況下的複雜度。
4. 第一部分第五課預告
終於把算法複雜度講解得差不多了，真是不容易。大家也辛苦了。
今天的課就到這裏，一起加油吧！
我是 謝恩銘，公衆號「程序員聯盟」號主，慕課網精英講師 Oscar 老師，終生學習者。
熱愛生活，喜歡游泳，略懂烹飪。
人生格言：「向着標杆直跑」