Machine Learning Yearning15~19

1.如何進行錯誤分析呢？我們將錯分類別做一個表。

橫向是各種各樣的error categories。觀察多了，對比多了，就會想到各種的錯誤類別。然後通過這個表，來決定在哪方面投入精力。如上表，相對於狗這類，將方向放到Great cat或者Blurry更好。
2.如果發現被錯分類別本身標籤是錯誤的，那麼我們需要考慮是否糾正這些錯誤的標籤。這取決於這些標錯的數據是否影響我們的判斷。如果錯分類裏邊只有很少的一部分是被錯標記的，那麼我們沒有必要花費大的精力去修復這些標籤的。
但是要記得，對dev set做的處理要對test set做同樣的處理，保證倆者的分佈一致性。
如果要提高標籤的質量，那麼也要檢查被所謂正確分類標籤的質量。如果只修正錯分類別的標籤，那麼可能對評估引入偏見。這些偏見最多在引用場景被接受，但是在學術研究上是不行的。
3.當然不是對所有的dev set數據進行錯誤分析。如果dev set太多，則需要花費很多時間。我們將dev set分爲倆部分，一部分進行觀察（被稱爲Eyeball dev set），一部分調節參數（被稱爲Blackbox dev set）。
那麼如果我們的Eyeball dev set過擬合怎麼辦？要門重新選擇Eyeball dev set，要麼增加Eyeball dev set（減少Blackbox dev set），或者獲取新的標記數據。
4.現在討論Eyeball dev set和Blackbox dev set的數量，多少合適？Eyeball dev set應該能夠包含足夠數量的我們算法錯誤分類的數據（比如，錯分100個）。我們的分類器錯誤率越低，爲了得到一定量的錯分的數據，我們需要更多的Eyeball dev set。Eyeball dev set針對人爲分類較好的數據。如果我們自己都很難分類，Eyeball dev set就失去作用了。
Blackbox dev set的目的是調整參數和選擇模型。一般是1000~10000。
如果數據量少，把所有數據分爲Eyeball dev set。我們可以使用這個Eyeball dev set進行觀察，調整參數，選擇模型。這樣做唯一的缺陷是，Eyeball dev set過擬合的概率增加。
5.如果我們不是一個領域的專家，我們首先需要設計一個基本的系統，通過錯誤分析幫助我們來決定最優吸引力的方向，然後朝着這個方向不斷迭代。
6.如果Eyeball dev set的效果比Blackbox dev set好很多，那麼Eyeball dev set過擬合了。