樸素貝葉斯 後驗概率最大化的含義

樸素貝葉斯法將實例分到後驗概率最大化的類中。這等價與期望風險最小化。假設選取的是0-1損失函數，

L(y,f(x))={10y≠f(x)y=f(x)

這是期望風險函數爲

Rexp(f)===∫∫DXYL(y,f(x))P(x,y)dxdy∫DX∫DYL(y,f(x))P(y|x)P(x)dxdy=∫DX[∫DYL(y,f(x))P(y|x)dy]P(x)dx

其中，∫DYL(y,f(x))P(y|x)dy 稱爲在X=x 時的y的條件期望。

爲了使期望風險最小，只需要對每一個X=x 逐個極小化。

f(x)=====argminy∈Y∫DYL(y,f(x))P(y|x)dyargminy∈Y∑k=1KL(ck,f(x))P(ck|x)argminy∈Y∑k=1KP(y≠ck|x)argminy∈Y1−P(y=ck|x)argmaxy∈YP(y=ck|x)

根據期望風險最小化準則就得到了後驗概率最大化準則。

f(x)=argminckP(ck|X=x)

參考書籍:
《統計學習方法》 李航