典型卷積網絡

本文介紹一些典型的深度卷積網絡

model

model zoo in caffe,
caffe model zoo wiki

net	layer num	finetuned on	dataset image num
GoogLe Net	22	Extended Salient Object Subitizing dataset	11k
VGG Net	16	initial Salient Object Subitizing dataset	5500
ALexNet	-	initial Salient Object Subitizing dataset	5500

GoogLe Net

GoogLe Net refer,
paper
BVLC GoogleNet Model
inception modules

ALexNet

paper

Going deeper with convolution

該googlnet是一種神經網絡結構“inception”，對於分類和檢測ILSVRC14，主要特點該結構能夠提高網絡內部計算資源的利用率。如果想要實現上述效果，需要精心調整的設計，該涉及允許增加網絡的深度和寬度，同時保持計算負擔不變。爲優化網絡的質量，結構性決策給予hebbian 原則和多尺度的直覺。
在本網絡中deep有兩種含義：一是在構成‘inception moudle’中引入了一種新的level of organization，，另外就是網絡的深度增加。
sliders

hebbian principle

Hebbian principle – neurons that fire together, wire together

- Cluster according activation statistics

‘inception moudle’開始是爲了評估一種複雜的網絡拓撲構建算法的假設輸出，該算法目的是逼近一個稀疏結構，用於通過密集的完備的元素來覆蓋輸出假設的視覺網絡。雖然只是來自一個猜想，但是效果不錯。as said in the paper

Inception architecture was especially useful in the context of localization and object detection as the base network

RCNN

當前用於目標檢測最好的方法是Region with Convolution Neural Network。RCNN分解整個檢測問題爲兩個子問題，首先是用低級的線索例如顏色超像素一致性用來可能的目標提出in a category-agnostic fashion. 然後在對應位置上使用CNN分類器鑑別物體的種類。增加DNN的性能的方法是增加他們的數量，其中包括增加深度網絡的寬度。這樣的方法在已有大量的有標籤的訓練數據集時安全簡單。但是同時也有一些缺點。
- 網絡越大，網絡的參數的數量越大，以爲着過擬合的可能性變大，尤其是訓練集的數量受限時。
- 一致的增大網絡的大小會增加網絡的計算資源。任何濾波器的數量的均勻的增加會導致計算的二次增長。因爲計算資源總是有限的，因此有限的計算資源的分佈是優於網路的增大。
解決這個問題的基本方式更換全連接網絡爲稀疏的連接網絡，即使是卷積的內部。