【學習筆記】吳恩達機器學習 WEEK1

Introduction

1. 機器學習算法分類
   • 監督學習 Supervised learning
   • 無監督學習 Unsupervised learning
2. 監督學習
   • 迴歸 regression
     map input variables to some continuous function
   • 分類 classification
     map input variables into discrete categories
3. 無監督學習
   給算法數據集，要求它找出數據的類型結構
   實例：分離音頻
   Octave：構建學習算法原型，使用Octave

Linear Regression with One Variable

1. 代價函數 cost function
   作用：measure the accuracy of our hypothesis function

   $J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(\hat{y}_{i}-y_{i}\right)^{2}=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x_{i}\right)-y_{i}\right)^{2}$

   也叫做平方誤差函數，或者是均方誤差

2. 代價函數的講解

   • $h_\theta(x)$ ：固定參數$\theta$，是$x$的函數
   • $J(\theta)$：是參數$\theta$的函數
   • cost function的值越小，對應的擬合越好

3. 梯度下降 Gradient descent
   關鍵步驟：更新方程，$\theta_0和\theta_1$需要同步更新

   $\theta_{j}:=\theta_{j}-\alpha \frac{\partial}{\partial \theta_{j}} J\left(\theta_{0}, \theta_{1}\right)$

斜率會不斷變小，因此步伐會變小，慢慢靠近最後的解

4. Batch梯度下降算法
用梯度下降法，求解代價函數的最小值，得到線性迴歸算法，用直線模型來擬合數據

Linear Algebra Review

線性代數知識回顧

1. 大寫字母表示矩陣，小寫字母表示向量
2. 矩陣與向量乘法
   矩陣與向量的相乘，簡化計算，避免一個一個的帶入計算。
3. 矩陣與矩陣乘法
   包含更多信息，一次矩陣乘法就可以實現多種的預測（而且矩陣乘法很高效）
4. 矩陣乘法的特性
   1. 沒有交換律（交換以後相乘得到的矩陣維度不同）
   2. 符合結合律 $A \times B \times C=A\times(B\times C)=(A\times B)\times C$
5. 特殊矩陣
   1. 單位矩陣 Identity Matrix $A·I = I·A = A$
6. 逆矩陣和矩陣的轉置
   1. 矩陣逆運算
      If A is an $m\times m$ matrix，and if it has an inverse,$AA^{-1}=A^{-1}A=I$
      注意： 1. 方陣 2. 存在逆矩陣
   2. 矩陣的轉置運算 Matrix Transpose
      矩陣的第一行變爲第一列 $B_{ij}=A_{ji}$