信息熵：
利用信息論中信息熵概念，求出任意一個離散信源的熵（平均自信息量）。自信息是一個隨機變量,它是指某一信源發出某一消息所含有的信息量。一條信息的信息量和它的不確定性有着直接的關係。所發出的消息不同，它們所含有的信息量也就不同。任何一個消息的自信息量都代表不了信源所包含的平均自信息量。不能作爲整個信源的信息測度，因此定義自信息量的數學期望爲信源的平均自信息量：
信息熵的意義：信源的信息熵H是從整個信源的統計特性來考慮的。它是從平均意義上來表徵信源的總體特性的。對於某特定的信源，其信息熵只有一個。不同的信源因統計特性不同，其熵也不同。信息熵一般用符號H表示，單位是比特。變量的不確定性越大，熵也就越大。
圖像熵：
1.一元灰度熵
圖像熵是一種特徵的統計形式，它反映了圖像中平均信息量的多少。圖像的一維熵表示圖像中灰度分佈的聚集特徵所包含的信息量，令Pi 表示圖像中灰度值爲i的像素所佔的比例，則定義灰度圖像的一元灰度熵爲：
其中Pi是某個灰度在該圖像中出現的概率，可由灰度直方圖獲得。
1.二維熵
圖像的一維熵可以表示圖像灰度分佈的聚集特徵，卻不能反映圖像灰度分佈的空間特徵，爲了表徵這種空間特徵，可以在一維熵的基礎上引入能夠反映灰度分佈空間特徵的特徵量來組成圖像的二維熵。選擇圖像的鄰域灰度均值作爲灰度分佈的空間特徵量，與圖像的像素灰度組成特徵二元組，記爲( i, j )，其中i 表示像素的灰度值(0 <= i <= 255)，j 表示鄰域灰度均值(0 <= j <= 255)：
上式能反應某像素位置上的灰度值與其周圍像素灰度分佈的綜合特徵，其中f(i, j)爲特徵二元組(i, j)出現的頻數，N 爲圖像的尺度，定義離散的圖像二維熵爲：
構造的圖像二維熵可以在圖像所包含信息量的前提下，突出反映圖像中像素位置的灰度信息和像素鄰域內灰度分佈的綜合特徵。