Progressive Feature Alignment for Unsupervised Domain Adaptation-CVPR2019.md

Progressive Feature Alignment for Unsupervised Domain Adaptation (CVPR2019)

提出了一個逐步特徵對齊網絡 Progressive Feature Alignment Network (PFAN)去解決原域有標籤、目標域無標籤的無監督domain adaptation分類問題：

1. Easy-to-Hard 遷移策略 (EHTS)： 利用跨模態相似度逐步選擇可靠的僞標籤

2. 自適應原型對齊 Adapative Prototype Alignment (APA)： 對於每個類別，將原域和目標域的prototypes對齊

3. soft-max function with a temperature variate

1. Easy-to-Hard (EHTS):

先算出原域每一類的特徵均值:

其中G爲特徵提取網絡。

利用cosine similarity去度量目標域樣本和原域每個類的距離：

設定一個閾值，在相似度超過閾值的貼上僞標籤

閾值調整方式，一個增函數：

2. Adaptive Prototype Alignment (APA):

對於原域和目標域的每個類進行對齊：

在訓練開始時，對於target domain中的每個類別求個特徵均值：

對於每個epoch，根據所有mini-batch，求每個類的特徵均值。

每訓完一個epoch，根據這個epoch中每個類的特徵均值和之前的特徵均值，更新出新的均值：

這兒$\rho_t$用於恆量最近一個epoch中得到的新 $\bar{c}_{k(I)}^t$與之前的KaTeX parse error: Expected 'EOF', got '\c' at position 1: \̲c̲_{k(I)}^\tau的相似度。

對於source domain也對每個類計算出prototype。

然後對於每個類的prototype，計算source 和target domain的距離。將距離之和作爲loss：

3） soft-max function with a temperature variate

由於source domain具有可靠的標籤，而target domain沒有。

所以一般source domain下的分類loss收斂比target domain下塊。這導致了網絡容易對source domain產生過擬合，而在target domain下的表現有限。

對原域分類器加入一個較高的 temperature variate $T(T>1)$,可以阻礙、延緩原域分類器的收斂。通過以下的softmax函數實現，其中$q_i$代表每一類的預測概率：

4）對抗損失，使source 和target domain的特徵無法區分

5. 總體損失函數:

Note：

1. 似乎只對source domian下的數據進行了分類

2. t-SNE

   The t-SNE visualization of network activations on target domain W generated by RevGrad and

3. A-distance

   [1] suggests that A-distance can be used as a measure of
   domai