論文筆記之Label-Free Supervision of Neural Networks with Physics and Domain Knowledge

這一篇是AAAI 2017的best paper。出自Stanford ，隨手查了一下，二作Stefano Ermon指導的AAAI 2017的另一篇paper，拿了Best Student Paper Award (CompSust Track)。在此膜拜一發。

一.題目理解

不得不說，一篇好的paper，題目很重要，是否吸引人。比如這一篇，猛地一看感覺很有內容，想法很新穎。

label-free : 訓練時，不使用任何標籤數據

Supervision ：不用帶有label的數據，乾的卻是監督學習的事情。

Physics and Domain Knowledge：採用領域相關的知識，來作爲訓練時的監督信息。

由題目可得，作者是要用domain相關的知識，來代替傳統監督學習中的標籤信息，從而達到不使用label情況下，監督學習的目的。

二.Motivation

1.標籤數據是稀少並且昂貴的，但是監督學習，往往需要大量的標籤數據

2.如果不帶標籤訓練數據，往往陷入無監督學習的境地，而無監督學習得到的特徵往往是樸素的，沒有特定的含義與語義，這對於特定的任務而言，往往是不夠的。

因此，希望通過一種方法，在監督學習的同時，而不需要使用標籤數據，來儘可能達到甚至是超過，帶標籤的監督學習的精度。

三.Contribution

主要貢獻：提出了一種，通過限制條件，即domain相關的知識來約束輸出空間， 來進行監督學習的方法。

這樣一種方法的好處有兩點：

1.訓練時不需要label

2.這樣一種domain相關的約束，往往是對於多種數據集同時有效的，所以，這樣一種方式是generality的。

四.Problem setup

對於傳統的監督學習而言：

其中，f 是要學習的函數，xi 表示輸入，yi 表示xi 對應的label也就是監督信息。l 是loss function。

---

而在這篇paper中，學習的一種表示是：

其中，g 則表示的是domain相關的一種約束函數，通過這樣一種約束，達到監督學習的目的。R 是正則項，這裏的正則項主要的目的是爲了避免函數f 是一個平凡解。
因爲domain相關的約束對於特定的問題而言，往往是必要不充分的，因此如果僅僅依靠domain來約束的話，很有可能導致學習的f 是一個平凡解。 所以引入了正則項R
這裏可以看到，學習的過程中是不包含標籤yi 的，因此是一種label-free的監督學習。

那麼這個g 具體的表達式是什麼？可以這麼說，沒有固定的一種表達，不同的task，不同的domain，可能g 不盡相同，作者只是提出了這樣一種想法。而爲了驗證這種想法的正確性，作者在三種不同的任務上（兩種連續任務，一種離散任務），設計了g ，並且做了相應的測試。接下來，分別細講這三種任務。

五.Experiment1:Tracking an object in free fall

5.1 background

這個task面臨的是，通過視頻錄下，將一個物體拋在空中過程。這個視頻中的每一幀看成一個image
那麼
input： N張視頻中連續的image。即x=(x1,x2,...,xn) (xi 表示一張圖片)（實驗中，N=5如下圖所示）

output：y=(y1,y2,...,yn) (yi 表示對應圖片中物體的高度)

即需要通過網絡，學習一個函數f ，預測每張圖片中物體的高度是多少。

5.2Design

對於傳統的機器學習而言，可能會這麼做——CNN(label: height)

但是，對於本文而言，label-free，如何設計g ?

5.2.1 domain knowledge

物體在空中的運動，基本遵循，牛頓第二定律即，：

其中

直觀上講，函數f 需要遵循牛頓第二定律的方程。

5.2.2 約束函數 g

作者是這麼將牛頓第二定律方程結合進來的。

首先

這個方程是怎麼得到的呢？

我們將 看成一個線性迴歸方程，即
其中v0 可以看成是 w ，y0 看成b ，i△t 看成xi

那麼，根據對於線性迴歸方程通過最小二乘法求解，可以得到：

其中
由此便可得到：

---

那麼得到的y^ 便可以看做是f(x) 的滿足於牛頓第二定律的表達。

我們可以想到，通過神經網絡得到的高度f(xi) 與 yi 應是儘可能相近的。
因此最後的g 爲：

5.3 Experiment

Date set：電腦錄下的65段不同的拋物軌跡，共602張圖片，

Train set: 40 段軌跡

Tese set : 25 trajectories

Framwork:

Conv/ReLU/MaxPool ->
Conv/ReLU/MaxPool ->
Conv/ReLU/MaxPool->
Connected/ReLU ->
Connected/ReLU ->
regression output

5.4 Result

六.Experiment2:Tracking the position of a walking man

6.1 background

和第一個實驗類似，只不過這次預測的是行走的人的position（橫座標）

input：N張視頻中連續的image。即x=(x1,x2,...,xn) (xi 表示一張圖片)（實驗中，N=5如下圖所示）

輸出是：y=(y1,y2,...,yn) (yi 表示對應圖片中行人的position)

即需要通過網絡，學習一個函數f ，預測每張圖片中行人的橫座標是多少。

6.2Design

6.2.1 domain knowledge

行人在短時間內的運動是勻速的，即：

6.2.2 約束函數g

如果直接按照第一個實驗，這麼設計的話，會很可能得到 f 的平凡解，比如

也是滿足勻速條件，要是僅用勻速這個domain來約束的話，很可能得到得到這樣一種平凡解，而平凡解顯然是我們不希望出現，因此爲了解決這樣一個問題，作者加入了一些正則項：


其中，h1(x) 爲了使得fx 方差儘可能大，避免平凡解（常數）
h2(x) 爲了避免fx 方差過大，而約束0<fx<10 之間

因此最後的g :

6.3 Experiment

Date set：電腦錄下的11段在6個不同場景的拋物軌跡，共507張圖片，

Train set: 50%

Framwork:

Conv/ReLU/MaxPool ->
Conv/ReLU/MaxPool ->
Conv/ReLU/MaxPool->
Connected/ReLU ->
Connected/ReLU ->
regression output

6.4 Result

七.Experiment3:Detecting objects with causal relationships

7.1 background

這是一個離散問題

input：一張image，（圖片可能有四種生物，黃色的公主，紅色的馬里奧，還有棕色和綠色的怪物）

輸出是：

即需要通過網絡，學習一個函數

預測每張圖片中是否有公主y1 ，是否有馬里奧y2

7.2Design

7.2.1 domain knowledge

這裏的domain knowledge是一個邏輯關係，即當出現公主的時候，馬里奧一定出現，即
也就是說，可能的預測值是：

7.2.2 約束函數g

如果直接用這樣一種邏輯約束的話，即：

很容易遇到平凡解，比如
因此在這裏，加了三個正則項：

其中，h1(x) 中ρ(x) 是對圖片進行各種平移選擇變換，這個正則項的目的是爲了不考慮圖片中公主或者馬里奧的位置，更關注於是否存在這兩個物體,

h2(x) 爲了使得fx 方差儘可能大，避免平凡解（常數）

h3(x) 爲了增加輸出熵，即 每個概率爲1/3爲輸出熵最大。

因此可以得到g ：

---

此外，即使加上這三個正則項，還是可能出現一些不願意看到的解：
比如正確的輸出是：，
那麼根據這樣一種關係，
還可能得到 滿足domain和約束，

爲了解決這樣一種平凡解，作者是這麼做的

對於預測公主的網絡，即f1 ，在一定卷積後的map上預測是否出現公主，要是出現公主，那麼在對應f2 ，公主對應的像素全都不考慮，即：

7.3 Experiment

Data Set： not mention
Test Set： 100 images

Framework( f1orf2 )：

Conv/ReLU/MaxPool ->
Conv/ReLU/MaxPool ->
Conv/ReLU/MaxPool->
channel mean ->
Connected/ReLU ->
Connected/ReLU ->
regression output

Result: not mention???

很奇怪，居然沒有說明，最後做的結果是如何的，筆者自行yy，可能作者在這個實驗上，做的效果不是很好，所以就沒有提及。

八.Conclusion

總結來看，不愧是best paper ，想法很好
但是，不足的是第三個實驗，有點不夠完善，和牽強。

此外，對於domain相關約束設計，需要十分巧妙，而且，感覺應用的面不是很廣，因爲不是所有的task，都有類似於牛頓定律這種強約束。

因此，可能在挖坑，慎跳。