機器學習（Coursera吳恩達）（八 其他）

機器學習（Coursera吳恩達）（八 其他）

標籤（空格分隔）： 機器學習

---

異常檢測(anomaly detection)

異常檢測問題：假設有一個新飛機，引擎有特徵變量xtest$x_{test}$ ，異常檢測就是我們希望制導這個新的飛機引擎是否有某種異常。
給定數據集x(1),x(2)，x(3),...,x(m)$x^{(1)},x^{(2)}，x^{(3)},...,x^{(m)}$ ，假設數據集是正常的，我們希望制導新的數據xtest$x_{test}$ 是不是異常的，即測試數據不屬於該組數據的機率。

這種方式稱爲密度估計，表達式如下：
if  p(x)<ϵ   anomaly;p(x)>ϵ   normal$ifp(x)<ϵanomaly;p(x)>ϵnormal$
欺詐檢測：x(i)=用戶的第i個活動特徵$x^{(i)}=用戶的第i個活動特徵$
模型p(x)$p(x)$ 是其屬於一組數據的可能性，通過p(x)<ϵ$p(x)<ϵ$ 檢測非正常用戶。
異常檢測主要是用來識別欺騙。

算法

對於給定的數據集x(1),x(2)，x(3),...,x(m)$x^{(1)},x^{(2)}，x^{(3)},...,x^{(m)}$ ，我們要針對每一個特徵計算μ$\mu$ 和δ2${\delta }^2$ 的估計值。

μj=1m∑i=1mx(i)j$${\mu }_j=\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}$$

δ2j=1m∑j=1m(x(i)−μj)2$${\delta }_j^2=\frac{1}{m}\sum _{j=1}^m(x^{(i)}-{\mu }_j{)}^2$$

一旦我們獲得了均值和方差的估計值，給定新的一個訓練實例，根據模型計算p(x)$p(x)$ .
當p(x)<ϵ$p(x)<ϵ$ 爲異常。

數據集選擇

還是要用F1選擇閾值。判斷查準率和查重率。

與監督學習對比

選擇特徵

對於異常檢測算法，我們使用的特徵是至關重要的.
異常檢測假設特徵服從高斯分佈，例如使用對數函數：x=log(x+c)$x=log(x+c)$ ,其中c$c$ 爲非負數，或者x=xc$x=x^c$ , c爲0-1之間的一個分數。

目的是讓數據特徵更接近高斯分佈。

推薦系統

引入標記：
* nu$n_u$ 代表用戶數
* nm$n_m$ 代表電影書
* r(i,j)$r(i,j)$ 如果用戶j給電影i評分，則爲1
* yi,j$y^{i,j}$ 用戶j給電影i的評分
* mj$m_j$ 用戶j評分過電影的綜述

基於內容

• θ(j)${\theta }^{(j)}$ 表示用戶j的參數。(∈Rn+1$\in {\mathbb{R}}^{n+1}$ )
• x(i)$x^{(i)}$ 電影i的特徵
• 用戶j和電影i，我們預測的評分爲(θ(j))Tx(i)$({\theta }^{(j)}{)}^T{x}^{(i)}$
• 代價函數針對用戶j：
  

爲了學習所有用戶，要對所有用戶的代價函數求和：

然後對這個總的代價函數使用梯度下降法求最優解。

協同過濾

現在，我們如果沒有對每一個電影都有評價，也就是沒有電影的特徵。因爲我們很難對每一個電影都設計合適的特徵，所以在我們擁有用戶評價的情況下，需要對每個電影學習特徵。
*協同過濾：是電影特徵與用戶參數協同學習。前提是我們不知道用戶的參數θ$\theta$ 也不知道電影的特徵x$x$ 。我們擁有的只有用戶對電影的評分。
修改優化目標：

對代價函數求偏導數：（對θ$\theta$ 和x$x$ 同時最小化）

算法步驟：
1. 初始x(1),x(2)，x(3),...,x(nm);θ(1),θ(2)，θ(3),...,θ(nu)$x^{(1)},x^{(2)}，x^{(3)},...,x^{(n_m)};{\theta }^{(1)},{\theta }^{(2)}，{\theta }^{(3)},...,{\theta }^{(n_u)}$
2. 使用梯度下降法最小化代價函數
3. 在訓練完之後，我們預測(θ(j))Tx(i)$({\theta }^{(j)}{)}^T{x}^{(i)}$ 爲用戶j對電影i的預測評分。

大規模學習算法

1. 用學習曲線確定是否我們需要打大訓練集。

2. 隨機梯度下降法
   直接用梯度下降，對大規模系統來說每一次迭代都需要對所有數據進行誤差進行累加，那麼一次的計算量就會特別大。所以要找更快捷的方法，適用於大規模學習。
   
   

3. 小批量梯度下降（Mini-batch）
   

4. 隨機梯度下降收斂