常用的算法的時間複雜度和空間複雜度
算法時間複雜度分析示例
爲了便於朋友們理解，我將不會採用教科書上慣用的快速排序、合併排序等經典示例進行分析，而是使用一個十分簡單的算法作爲示例。我們先來定義問題。
問題定義：
輸入——此問題輸入爲一個有序序列，其元素個數爲n，n爲大於零的整數。序列中的元素爲從1到n這n個整數，但其順序爲完全隨機。
輸出——元素n所在的位置。（第一個元素位置爲1）
這個問題非常簡單，下面直接給出其解決算法之一（僞代碼）：
LocationN(A)
{
for(int i=1;i<=n;i++)-----------------------t1
{
if(A[i] == n) ----------------------------t2
{ return i; }------------------------t3
}
}
我們來看看這個算法。其中t1、t2和t3分別表示此行代碼執行一次需要的時間。
首先，輸入規模n是影響算法執行時間的因素之一。在n固定的情況下，不同的輸入序列也會影響其執行時間。最好情況下，n就排在序列的第一個位置，那麼此時的運行時間爲“t1+t2+t3”。最壞情況下，n排在序列最後一位，則運行時間爲“n*t1+n*t2+t3=(t1+t2)*n+t3”。可以看到，最好情況下運行時間是一個常數，而最壞情況下運行時間是輸入規模的線性函數。那麼，平均情況如何呢？
問題定義說輸入序列完全隨機，即n出現在1...n這n個位置上是等可能的，即概率均爲1/n。而平均情況下的執行次數即爲執行次數的數學期望，其解爲：
E
= p(n=1)*1+p(n=2)*2+...+p(n=n)*n
= (1/n)*(1+2+...+n)
= (1/n)*((n/2)*(1+n))
= (n+1)/2
即在平均情況下for循環要執行(n+1)/2次，則平均運行時間爲“(t1+t2)*(n+1)/2+t3”。
由此我們得出分析結論：
t1+t2+t3 <= F(n) <= (t1+t2)*n+t3，在平均情況下F(n) = (t1+t2)*(n+1)/2+t3
算法的漸近時間複雜度
以上分析，我們對算法的時間複雜度F(n)進行了精確分析。但是，很多時候，我們不需要進行如此精確的分析，原因有下：
1.在較複雜的算法中，進行精確分析是非常複雜的。
2.實際上，大多數時候我們並不關心F(n)的精確度量，而只是關心其量級。
基於此，提出漸近時間複雜度的概念。在正式給出漸近時間複雜度之前，要先給出幾個數學定義：
定義一：Θ(g(n))={f(n) | 如果存在正常數c1、c2和正整數n0，使得當n>=n0時，0<c1g(n)<=f(n)<=c2g(n)恆成立}
定義二：Ο(g(n))={f(n) | 如果存在正常數c和正整數n0，使得當n>=n0時，0<=f(n)<=cg(n)恆成立}
定義三：Ω(g(n))={f(n) | 如果存在正常數c和正整數n0，使得當n>=n0時，0<=cg(n)<=f(n)恆成立}
可以看到，三個定義其實都定義了一個函數集合，只不過集合中的函數需要滿足的條件不同。有了以上定義，就可以定義漸近時間複雜度了。
不過這裏還有個問題：F(n)不是確定的，他是在一個範圍內變動的，那麼我們關心哪個F(n)呢？一般我們在分析算法時，使用最壞情況下的F(n)來評價算法效率，原因有如下兩點：
1.如果知道了最壞情況，我們就可以保證算法在任何時候都不能比這個情況更壞了。
2.很多時候，算法運行發生最壞情況的概率還是很大的，如查找問題中待查元素不存在的情況。且在很多時候，平均情況的漸近時間複雜度和最壞情況的漸近時間複雜度是一個量級的。
於是給出如下定義：設F(n)爲算法A在最壞情況下F(n)，則如果F(n)屬於Θ(g(n))，則說算法A的漸近時間複雜度爲g(n)，且g(n)爲F(n)的漸近確界。
還是以上面的例子爲例，則在上面定義中F(n) = (t1+t2)*n+t3。則F(n)的漸近確界爲n，其證明如下：
證明：
設c1=t1+t2，c2=t1+t2+t3，n0=2
又因爲 t1,t2,t3均大於0
則，當n>n0時，0<c1n<=F(n)<=c2n 即 0<(t1+t2)*n<=(t1+t2)*n+t3<=(t1+t2+t3)*n恆成立。
所以 F(n)屬於Θ(n)
所以 n是F(n)的漸近確界
證畢
在實際應用中，我們一般都是使用漸近時間複雜度代替實際時間複雜度來進行算法效率分析。一般認爲，一個漸近複雜度爲n的算法要優於漸近複雜度爲n^2的算法。注意，這並不是說漸近複雜度爲n的算法在任何情況下都一定更高效，而是說在輸入規模足夠大後（大於臨界條件n0），則前一個算法的最壞情況總是好於後一個算法的最壞情況。事實證明，在實踐中這種分析是合理且有效的。
類似的，還可以給出算法時間複雜度的上確界和下確界：
設F(n)爲算法A在最壞情況下F(n)，則如果F(n)屬於Ο(g(n))，則說算法A的漸近時間複雜度上限爲g(n)，且g(n)爲F(n)的漸近上確界。
設F(n)爲算法A在最壞情況下F(n)，則如果F(n)屬於Ω(g(n))，則說算法A的漸近時間複雜度下限爲g(n)，且g(n)爲F(n)的漸近下確界。
這裏一定要注意，由於我們是以F(n)最壞情況分析的，所以，我們可以100%保證在輸入規模超過臨界條件n0時，算法的運行時間一定不會高於漸近上確界，但是並不能100%保證算法運行時間不會低於漸近下確界，而只能100%保證算法的最壞運行時間不會低於漸近下確界。