"Learning Efficient Object Detection Models with Knowledge Distillation"這篇文章通過知識蒸餾（Knowledge Distillation）與Hint指導學習（Hint Learning），提升了主幹精簡的多分類目標檢測網絡的推理精度（文章以Faster RCNN爲例），例如Faster RCNN-Alexnet、Faster-RCNN-VGGM等，具體框架如下圖所示：
教師網絡的暗知識提取分爲三點：中間層Feature Maps的Hint；RPN/RCN中分類層的暗知識；以及RPN/RCN中迴歸層的暗知識。具體如下：
具體指導學生網絡學習時，RPN與RCN的分類損失由分類層softmax輸出與hard target的交叉熵loss、以及分類層softmax輸出與soft target的交叉熵loss構成：
由於檢測器需要鑑別的不同類別之間存在樣本不均衡（imbalance），因此在L_soft中需要對不同類別的交叉熵分配不同的權重，其中背景類的權重爲1.5（較大的比例），其他分類的權重均爲1.0：
RPN與RCN的迴歸損失由正常的smooth L1 loss、以及文章所定義的teacher bounded regression loss構成：
其中Ls_L1表示正常的smooth L1 loss，Lb表示文章定義的teacher bounded regression loss。當學生網絡的位置迴歸與ground truth的L2距離超過教師網絡的位置迴歸與ground truth的L2距離、且大於某一閾值時，Lb取學生網絡的位置迴歸與ground truth之間的L2距離，否則Lb置0。
Hint learning需要計算教師網絡與學生網絡中間層輸出的Feature Maps之間的L2 loss，並且在學生網絡中需要添加可學習的適配層（adaptation layer），以確保guided layer輸出的Feature Maps與教師網絡輸出的Hint維度一致：
通過知識蒸餾、Hint指導學習，提升了精簡網絡的泛化性、並有助於加快收斂，最後取得了良好的實驗結果，具體見文章實驗部分。