協方差和相關係數

本文摘自《概率論和數理統計》 陳希孺著 中國科學技術大學出版社

協方差和相關係數

現在我們來考慮多維隨機向量的數字特徵。以二維的情況爲例，設(X,Y) 爲二維隨機向量。X,Y 本身都是一維隨機變量，可以定義爲其均值、方差，在本文中我們記

E(X)=m1,E(Y)=m2,Var(X)=σ21,Var(Y)=σ22

協方差定義

我們稱E[(X−m1)(Y−m2)] 爲X,Y 的協方差，並記爲Cov(X,Y)∗ 。
“協”即“協同”的意思。X 的方差是X−m1 與X−m1 的乘積的期望，如今把一個X−m1 換爲Y−m2 ，其形式接近方差，又有X,Y 二者的參與，由此得出協方差的名稱。由定義看出，Cov(X,Y) 與X,Y 的次序無關，即Cov(X,Y)=Cov(Y,X) 。可直接由定義得到協方差的一些簡單性質。例如，若c1,c2,c3,c4 都是常數，則，

Cov(c1X+c2,c3Y+c4)=c1c3Cov(X,Y) 公式（1）

又易知：

Cov(X,Y)=E(XY)−m1m2 公式（2）

這些簡單的證明就不在這裏證明了。

協方差的重要性質

定理1

1. 若X,Y 獨立，則Cov(X,Y)=0
2. [Cov(X,Y)]2≤σ21σ22 。等號成立僅當X,Y 之間有嚴格的線性關係（即存在常熟a,b ，使得Y=a+bX ）時成立。

證明1

因爲當X,Y 獨立的時候，E(XY)=m1m2 ，且Cov(X,Y)=E(XY)−m1m2 ，故Cov(XY)=m1m2−m1m2=0 。

證明2

---

預備小知識：

• 若a,b,c 爲常數，a>0 ，而二次三項式at2+2bt+c 對t 任何實值都非負，則必有ac≥b2 。（二次函數沒有實根 ）
• 如果隨機變量Z 只能夠非負值，而E(Z)=0 ，則Z=0 。

證明小知識1：注意到若ac<b2 ，則at2+2bt+c=0 有兩個不同的實根t1<t2 ，因而at2+2bt+c=a(t−t1)(t−t2) 。取t0 使t1<t0<t2 ，則有at20+2bt0+c=a(t−t0)(t0−t2)<0 ，與at2+2bt+c 對任何t 非負矛盾。這就證明了小知識的第一點。

證明小知識2：若Z≠0 ，則因Z 只能取非負值，它必以一定的大於0的概率取大於0的值，這將導致E(Z)>0 ，與E(Z)=0 的假定不符合。

---

現考慮：

E[t(X−m1)+(Y−m2)]2=σ21t2+2Cov(X,Y)t+σ22 公式（3）

由於此等式左邊是一個非負隨機變量的均值，故它對任何t 非負。按預備知識1，有

σ21σ22≥[Cov(X,Y)]2 公式（4）

進一步，如果公式（4）等號成立，則公式（3）右邊等於(σ1t±σ2)2 。± 號視Cov(X,Y)>0 或<0 而定，爲確定符合，暫設Cov(X,Y)>0 ，則公式（3）右邊爲(σ1t+σ2)2 。此式在t=t0=−σ2/σ1 時爲0。以t=t0 帶入公式（3），有：

E[t0(X−m1)+(Y−m2)]2=0

再按預備知識2，即知t0(X−m1)+(Y−m2)=0 ，因而X,Y 之間有嚴格線性關係。

反之，若X,Y 之間有嚴格線性關係Y=aX+b ，則

σ22=Var(Y)=Var(aX+b)=Var(aX)=a2Var(X)=a2σ21 ，

且

m2=E(Y)=aE(X)+b=am1+b ，

因而有

Y−m2=(aX+b)−(am1+b)=a(X−m1) 。

於是

Cov(X,Y)=E[(X−m1)a(X−m1)]=a[E(X−m1)]=aσ21

因此，

[Cov(X,Y)]2=a2σ4=σ21(a2σ2)=σ21σ22

即公式（4）等號成立，這就證明了定理1中第2個知識點的全部結論。

相關係數定義

定義：我們把Cov(X,Y)σ1σ2 稱爲X,Y 的相關係數，並記爲Corr(X,Y)∗ 。
形式上可以把相關係數視爲“標準尺度下的協方差”。變量X,Y 的協方差作爲(X−m1)(Y−m2) 的均值，依賴於X,Y 的度量單位，選擇適當單位使X,Y 的方差都爲1，這協方差就是相關係數。這樣就能更好地反應X,Y 之間的關係，不受單位影響。

定理

1. 若X,Y 獨立，則Corr(X,Y)=0 。
2. −1≤Corr(X,Y)≤1 ，或∣Corr(X,Y)∣≤1 ，等號當且僅當X 和Y 有嚴格的線性關係時能達到。

---

相關解釋：

第一條

當Corr(X,Y)=0 ，（或Cov(X,Y)=0 一樣）時，稱“X,Y 不相關”。本定理1說明由X,Y 的獨立性推出他們的不相關。但反過來一般不成立：由Corr(X,Y)=0 不一定有X,Y 獨立。下面是一個簡單的例子。

---

例子：

設(X,Y) 服從單位圓內的均勻分佈，即其密度函數爲：

f(x,y)=⎧⎩⎨⎪⎪π−1 ,0 ,當x2+y2<1時當x2+y2≥1時

由於x,y 是對稱的，故他們擁有相同的概率密度函數。概率密度函數的求法請往下找，這裏爲了排版美觀將其內容放在下方。由於X,Y 擁有相同的邊緣密度函數，所以我們只求一個就可以了：

g(x)=∫1−x2√−1−x2√f(x,y)dy=∫1−x2√−1−x2√π−1dy={2π−11−x2‾‾‾‾‾‾‾√ ,0 , 當∣x∣<1時當∣x∣≥1時

這個函數關於0對稱，因此其均值爲0，故E(X)=E(Y)=0 。而

Cov(X,Y)=E(XY)−m1m2=E(XY)=1π∬xydxdyx2+y2<1   =0

故Corr(X,Y)=0 。但X,Y 不獨立，因爲聯合密度f(x,y) 不等於其邊緣密度之積g(x)g(y) 。

---

第二條

相關係數也常稱爲“線性相關係數”。這是因爲，實際上相關係數並不是刻畫了X,Y 之間“一般”關係的程度，而只是“線性關係的程度。這種說法的根據之一就在於，當且僅當X,Y 具有嚴格的線性關係時，纔有∣Corr(X,Y)∣ 達到最大值1.可以容易舉出例子說明：即使X 與Y 有某種嚴格的函數關係但非線性關係，∣Corr(X,Y)∣ 不僅不爲1，還可以爲0.

---

例子：

設X∼R(−12,12) ，即區間[−12,12] 內均勻分佈，而Y=cosX ，Y 與X 有嚴格的函數關係。但因E(X)=0 ，得到：

Cov(X,Y)=E(XY)−m1m2=E(XY)=E(XcosX)=∫1/2−1/2xcosxdx=0

故，Corr(X,Y)=0 。雖然求出來的相關係數爲0，也就是所謂的“不相關”，它們之間確有着嚴格的關係Y=cosX 。足見這樣的相關只能指線性而言，一超出了這個範圍，這個概念就失去了意義。

---

第三條

如果0<∣Corr(X,Y)∣<1 ，則解釋爲：X,Y 之間有“一定程度的”線性關係而非嚴格的線性關係。何謂“一定程度”的線性關係？我們可以用下面的圖來說明一下。在這三幅圖中，我們都假定(X,Y) 服從所畫區域A內的均勻分佈（即聯合概率密度f(x,y) 在A內爲∣A∣−1 ，在A外爲0，∣A∣ 爲區域A的面積）。在這三張圖中，X,Y 都沒有嚴格的線性關係，因爲由X 的值不能決定Y 的值。可是，由這幾個圖我們都能“感覺”出，X,Y 之間存在着一種線性的“趨勢”。這種趨勢，在圖（a）中已較顯著且是正向的（X 增加Y 傾向於增加），這相應於Corr(X,Y) 大比較顯著地大於0。在（b）中，這種線性趨勢比（a）更明顯，程度更大，反映∣Corr(X,Y)∣ 比（a）的情況更大，但爲負向的。至於（c），則多少有一點線性傾向，但已經很微弱，所以Corr(X,Y) 雖然大於0，但是很接近0。

---

邊緣密度函數

概率密度函數的求法如下：設X=(X1,⋯,Xn) 有概率密度函數f(x1,⋯,xn) ，爲求分量Xi 的概率密度函數，只需要把f(x1,⋯,xn) 中的xi 固定，然後對x1,⋯,xi−1,xi+1,⋯,xn 在−∞ 到+∞ 之間做定積分。例如，X1 的概率密度函數爲：

f1(x1)=∫+∞−∞⋯∫+∞−∞f(x1,x2,⋯,xn)dx2⋯dxn

---