數據結構學習筆記(一)複雜度分析技巧

一、什麼是複雜度分析

     數據結構和算法本身解決如何讓代碼運行得更快,如何讓代碼更省存儲空間。所以執行效率是算法一個非常重要的考量指標。衡量算法代碼的執行效率就是複雜度分析,複雜度分析分爲時間、空間複雜度分析

二、爲什麼要複雜度分析

    在運行一段代碼的時候可能因爲環境的不同執行的效率也不同,比如,分別用 i9 處理器和 i3 處理器來運行同一段代碼,不用說,i9 處理器要比 i3 處理器執行的速度快很多。

    還有就是數據規模不一致執行的效率也會不一樣,比如說,就一個簡單的排序算法爲例,我們的要排序的數據是無序的那麼執行效率就會慢,但是如果數據本來就是有序的,那排序算法不需要做任何操作,執行效率就會很快

   所以,一個不用具體的測試數據來測試,就可以粗略地估計算法的執行效率的方法。這就是時間、空間複雜度分析方法。

進入正文

大 O 複雜度表示法

看下方代碼複雜度分析


 int cal(int n) {
   int sum = 0;
   int i = 1;
   for (; i <= n; ++i) {
     sum = sum + i;
   }
   return sum;
 }

假設每行代碼執行的時間都一樣,爲 unit_time。第 2、3 行代碼分別需要 1 個 unit_time 的執行時間,第 4、5 行都運行了 n 遍,所以需要 2n*unit_time 的執行時間,所以這段代碼總的執行時間(以下用T(n)表示)就是T(n) = (2n+2)*unit_time

 

再看一段代碼


 int cal(int n) {
   int sum = 0;
   int i = 1;
   int j = 1;
   for (; i <= n; ++i) {
     j = 1;
     for (; j <= n; ++j) {
       sum = sum +  i * j;
     }
   }
 }

同樣假設每個語句的執行時間是 unit_time,第 2、3、4 行代碼,每行都需要 1 個 unit_time 的執行時間,第 5、6 行代碼循環執行了 n 遍,需要 2n * unit_time 的執行時間,第 7、8 行代碼循環執行了 n^{2}遍,所以需要 2n^{2} * unit_time 的執行時間。所以,整段代碼總的執行時間 T(n) = (2n^{2}+2n+3)*unit_time。

由此得到一個重要規律,所有代碼的執行時間 T(n) 與每行代碼的執行次數 n 成正比。

總結成一個公式    T(n) = O(f(n))

這個公式中,T(n)表示代碼執行的時間;n 表示數據規模的大小;f(n) 表示每行代碼執行的次數總和。

公式中的 O,表示代碼的執行時間 T(n) 與 f(n) 表達式成正比。

所以,第一個例子中的 T(n) = O(2n+2),第二個例子中的 T(n) = O(2n^{2}+2n+3)。

大 O 時間複雜度實際上並不具體表示代碼真正的執行時間,而是表示代碼執行時間隨數據規模增長的變化趨勢,所以,也叫作漸進時間複雜度(asymptotic time complexity),簡稱時間複雜度。

公式中的低階、常量、係數三部分並不左右增長趨勢,所以都可以忽略。只需要記錄一個最大量級就可以了,如果用大 O 表示法表示剛講的那兩段代碼的時間複雜度,就可以記爲:T(n) = O(n); T(n) = O(n^{2})。

時間複雜度分析

1. 只關注循環執行次數最多的一段代碼

我們在分析一個算法、一段代碼的時間複雜度的時候,也只關注循環執行次數最多的那一段代碼就可以了

看例子


 int cal(int n) {
   int sum = 0;
   int i = 1;
   for (; i <= n; ++i) {
     sum = sum + i;
   }
   return sum;
 }

第 2、3 行代碼都是常量級的執行時間,與 n 大小無關,對於複雜度並沒有影響。循環執行次數最多的是第 4、5 行代碼,所以這塊代碼要重點分析,這兩行代碼被執行了 n 次,所以總的時間複雜度就是 O(n)。

2. 加法法則:總複雜度等於量級最大的那段代碼的複雜度

上栗子


int cal(int n) {
   int sum_1 = 0;
   int p = 1;
   for (; p < 100; ++p) {
     sum_1 = sum_1 + p;
   }

   int sum_2 = 0;
   int q = 1;
   for (; q < n; ++q) {
     sum_2 = sum_2 + q;
   }
 
   int sum_3 = 0;
   int i = 1;
   int j = 1;
   for (; i <= n; ++i) {
     j = 1; 
     for (; j <= n; ++j) {
       sum_3 = sum_3 +  i * j;
     }
   }
 
   return sum_1 + sum_2 + sum_3;
 }

這個代碼分爲三部分,我們可以分析每一部分的時間複雜度,然後把它們放到一塊兒,再取一個量級最大的作爲整段代碼的複雜度。

sum_1時間複雜度 循環了一百次是一個常量的執行時間可以忽略掉,sum_2主要代碼在for循環,所以他的時間複雜度就是 O(n),sum_3是for循環嵌套所以時間複雜度就是O(n^{2}),取最大的量級。所以,整段代碼的時間複雜度就爲 O(n^{2})。

也就是說:總的時間複雜度就等於量級最大的那段代碼的時間複雜度。

3. 乘法法則:嵌套代碼的複雜度等於嵌套內外代碼複雜度的乘積

上例子


int cal(int n) {
   int ret = 0; 
   int i = 1;
   for (; i < n; ++i) {
     ret = ret + f(i);
   } 
 } 
 
 int f(int n) {
  int sum = 0;
  int i = 1;
  for (; i < n; ++i) {
    sum = sum + i;
  } 
  return sum;
 }

單獨看 cal() 函數。假設 f() 只是一個普通的操作,那第 4~6 行的時間複雜度就是,T1(n) = O(n)。但 f() 函數本身不是一個簡單的操作,它的時間複雜度是 T2(n) = O(n),所以,整個 cal() 函數的時間複雜度就是,T(n) = T1(n) * T2(n) = O(n*n) = O(n^{2})

幾種常見時間複雜度實例分析

  大佬總結的幾乎涵蓋所有代碼複雜度量級

粗略地分爲兩類,多項式量級和非多項式量級。非多項式量級只有兩個:O(2n) 和 O(n!)

1. O(1)


 int i = 8;
 int j = 6;
 int sum = i + j;

O(1) 只是常量級時間複雜度的一種表示方法,並不是指只執行了一行代碼。這段代碼,即便有 3 行,它的時間複雜度也是 O(1),而不是 O(3),一般情況下,只要算法中不存在循環語句、遞歸語句,即使有成千上萬行的代碼,其時間複雜度也是Ο(1)

2. O(logn)、O(nlogn)


 i=1;
 while (i <= n)  {
   i = i * 2;
 }

變量 i 的值從 1 開始取,每循環一次就乘以 2。當大於 n 時,循環結束,由此可以看出這段代碼就是一個等比數列,所以,這段代碼的時間複雜度就是 O(log2^{n}),在採用大 O 標記複雜度的時候,可以忽略係數,我們忽略對數的“底”,所以這段代碼最終的時間複雜度表示爲 O(logn)

3. O(m+n)、O(m*n)


int cal(int m, int n) {
  int sum_1 = 0;
  int i = 1;
  for (; i < m; ++i) {
    sum_1 = sum_1 + i;
  }

  int sum_2 = 0;
  int j = 1;
  for (; j < n; ++j) {
    sum_2 = sum_2 + j;
  }

  return sum_1 + sum_2;
}

m 和 n 是表示兩個數據規模。無法事先評估 m 和 n 誰的量級大,所以在表示複雜度的時候,就不能簡單地利用加法法則,省略掉其中一個。所以,上面代碼的時間複雜度就是 O(m+n),代碼的複雜度由兩個數據的規模來決定的

 

下面進入一些複雜的時間複雜度

最好、最壞情況時間複雜度

栗子


// n表示數組array的長度
int find(int[] array, int n, int x) {
  int i = 0;
  int pos = -1;
  for (; i < n; ++i) {
    if (array[i] == x) {
       pos = i;
       break;
    }
  }
  return pos;
}

這段代碼要實現的功能是,在一個無序的數組(array)中,查找變量 x 出現的位置。如果沒有找到,就返回 -1,要查找的變量 x 可能出現在數組的任意位置。

如果數組中第一個元素正好是要查找的變量 x,那就不需要繼續遍歷剩下的 n-1 個數據,那時間複雜度就是 O(1)。

但如果數組中不存在變量 x,那我們就需要把整個數組都遍歷一遍,時間複雜度就成了 O(n)。

爲了表示代碼在不同情況下的不同時間複雜度,引入三個概念:最好情況時間複雜度、最壞情況時間複雜度和平均情況時間複雜度

最好情況時間複雜度就是,在最理想的情況下,執行這段代碼的時間複雜度

最壞情況時間複雜度就是,在最糟糕的情況下,執行這段代碼的時間複雜度

平均情況時間複雜度就是,這段代碼執行時,平均的執行效率複雜度,這個值就是概率論中的加權平均值,也叫作期望值,所以平均時間複雜度的全稱應該叫加權平均時間複雜度或者期望時間複雜度。

所以上面的這段代碼分析,要查找的變量 x 在數組中的位置,有 n+1 種情況:在數組的 0~n-1 位置中和不在數組中,假設在數組中與不在數組中的概率都爲 1/2。另外,要查找的數據出現在 0~n-1 這 n 個位置的概率也是一樣的,爲 1/n。所以,根據概率乘法法則,要查找的數據出現在 0~n-1 中任意位置的概率就是 1/(2n),加權平均值爲 (3n+1)/4。用大 O 表示法來表示,去掉係數和常量,這段代碼的加權平均時間複雜度是 O(n)。

均攤時間複雜度


 // array表示一個長度爲n的數組
 // 代碼中的array.length就等於n
 int[] array = new int[n];
 int count = 0;
 
 void insert(int val) {
    if (count == array.length) {
       int sum = 0;
       for (int i = 0; i < array.length; ++i) {
          sum = sum + array[i];
       }
       array[0] = sum;
       count = 1;
    }

    array[count] = val;
    ++count;
 }

這段代碼實現了一個往數組中插入數據的功能。當數組滿了之後,也就是代碼中的 count == array.length 時,我們用 for 循環遍歷數組求和,並清空數組,將求和之後的 sum 值放到數組的第一個位置,然後再將新的數據插入。

最理想的情況下,數組中有空閒空間,我們只需要將數據插入到數組下標爲 count 的位置就可以了,所以最好情況時間複雜度爲 O(1)。

最壞的情況下,數組中沒有空閒空間了,我們需要先做一次數組的遍歷求和,然後再將數據插入,所以最壞情況時間複雜度爲 O(n)。

平均時間複雜度是就是 O(1)。

通過概率論的方法來分析。假設數組的長度是 n,根據數據插入的位置的不同,可以分爲 n 種情況,每種情況的時間複雜度是 O(1)。

除此之外,還有一種“額外”的情況,就是在數組沒有空閒空間時插入一個數據,這個時候的時間複雜度是 O(n)。而且,這 n+1 種情況發生的概率一樣,都是 1/(n+1)。所以,根據加權平均的計算方法,我們求得的平均時間複雜度就是:O(1)

對比一下這個 insert() 的例子和前面那個 find() 的例子,你就會發現這兩者有很大差別。首先,find() 函數在極端情況下,複雜度才爲 O(1)。但 insert() 在大部分情況下,時間複雜度都爲 O(1)。只有個別情況下,複雜度才比較高,爲 O(n)。這是 insert()第一個區別於 find() 的地方。

第二個不同的地方。對於 insert() 函數來說,O(1) 時間複雜度的插入和 O(n) 時間複雜度的插入,出現的頻率是非常有規律的,而且有一定的前後時序關係,一般都是一個 O(n) 插入之後,緊跟着 n-1 個 O(1) 的插入操作,循環往復。所以,針對這樣一種特殊場景的複雜度分析,並不需要像平均複雜度分析方法那樣,找出所有的輸入情況及相應的發生概率,然後再計算加權平均值。針對這種特殊的場景,一種更加簡單的分析方法:攤還分析法,通過攤還分析得到的時間複雜度叫均攤時間複雜度。

繼續看例子。每一次 O(n) 的插入操作,都會跟着 n-1 次 O(1) 的插入操作,所以把耗時多的那次操作均攤到接下來的 n-1 次耗時少的操作上,均攤下來,這一組連續的操作的均攤時間複雜度就是 O(1)。均攤時間複雜度就是一種特殊的平均時間複雜度

 

空間複雜度分析

空間複雜度全稱就是漸進空間複雜度(asymptotic space complexity),表示算法的存儲空間與數據規模之間的增長關係。

舉個例子


void print(int n) {
  int i = 0;
  int[] a = new int[n];
  for (i; i <n; ++i) {
    a[i] = i * i;
  }

  for (i = n-1; i >= 0; --i) {
    print out a[i]
  }
}

第 2 行代碼中,我們申請了一個空間存儲變量 i,但是它是常量階的,跟數據規模 n 沒有關係,所以忽略。第 3 行申請了一個大小爲 n 的 int 類型數組,除此之外,剩下的代碼都沒有佔用更多的空間,所以整段代碼的空間複雜度就是 O(n)。

常見的空間複雜度就是 O(1)、O(n)、O(n2 ),像 O(logn)、O(nlogn) 這樣的對數階複雜度平時都用不到。
 

總結

複雜度分析並不難,關鍵在於多練。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章