本章主要講了不同的學習方法，主要有Output Space, Data Label, Protocol, Input Space四個方面。
在上圖[ ]以及後文中黃色標記的內容爲本課程中主要講解的內容。
Learning with Different Output Space ![\large y]()
- binary classification:
- multiclass classification:
- regression:
- structured learning:
。輸出空間包含了某種結構在裏面，它的一些解法通常是從多分類問題延伸而來的，比較複雜。
。輸出空間包含了某種結構在裏面，它的一些解法通常是從多分類問題延伸而來的，比較複雜。Learning with Different Data Label ![\large y_n]()
- supervised: all
。監督學習，即給出所有樣本的
。
- unsupervised: no
。無監督學習，即不給出樣本的
，通過clustering（聚類）的方法。
- semi-supervised: some
。給出部分樣本的
，大多數的樣本沒有，避免了昂貴的標記成本。
- reinforcement learning: implicit
by goodness(
)
。監督學習，即給出所有樣本的
)增強學習中,我們給模型或系統一些輸入,但是給不了我們希望的真實的輸出y,根據模型的輸出反饋,如果反饋結果良好,更接近真實輸出,就給其正向激勵,如果反饋結果不好,偏離真實輸出,就給其反向激勵。不斷通過“反饋修”這種形式,一步一步讓模型學習的更好,這就是增強學習的核心所在。
Learning with Different Protocol ![\large f\Rightarrow (x_n, y_n)]()
其實就是不同的學習方法，主要分爲以下三類：
- batch: 即是一次性拿到所有的數據集。
- online: 在線學習模型，通過不斷更新數據，可以在線更新模型。一些batch learning的模型也可以修改爲online learning的模型，比如PLA模型的修正就可以在線進行。
- active: 讓模型具有主動問問題的能力，也就是在獲取label比較困難的時候可以主動提出需求以節約成本。
Learning with Different Input Space ![\large x]()
輸入數據的不同類型？
- concrete: each dimension of
represents ‘sophisticated physical meaning’，具有具體意義的特色輸入對機器學習最簡單。
- raw: often need human or machines to convert to concrete ones，原始數據需要轉換成對應的具體特徵。
- abstract: 特徵完全抽象，沒有實際的物理含義。所以對於機器學習來說是比較困難的，需要對特徵進行更多的轉換和提取。
represents ‘sophisticated physical meaning’，具有具體意義的特色輸入對機器學習最簡單。