台部落曉飛的算法工程筆記

最近，有一些大型內核卷積網絡的研究，但考慮到卷積的平方複雜度，擴大內核會帶來大量的參數，繼而引發嚴重的優化問題。受人類視覺的啓發，論文提出了外圍卷積，通過參數共享將卷積的複雜性從 \(O(K^{2})\) 降低到 \(O(\mathrm{

2024-04-24 14:00:58

論文設計了新的CNN-ViT混合神經網絡FasterViT，重點關注計算機視覺應用的圖像吞吐能力。FasterViT結合CNN的局部特徵學習的特性和ViT的全局建模特性，引入分層注意力（HAT）方法在降低計算成本的同時增加窗口間的交互。在

2024-04-23 13:59:52

深度學習模型通常堆疊大量結構和功能相同的結構，雖然有效，但會導致參數數量大幅增加，給實際應用帶來了挑戰。爲了緩解這個問題，LORS（低秩殘差結構）允許堆疊模塊共享大部分參數，每個模塊僅需要少量的唯一參數即可匹配甚至超過全量參數的性能。實驗

2024-04-22 13:59:50

論文重新審視了深度神經網絡中的不確定性估計技術，並整合了一套技術以增強其可靠性。論文的研究表明，多種技術（包括模型正則化、分類器改造和優化策略）的綜合應用顯着提高了圖像分類任務中不確定性預測的準確性來源：曉飛的算法工程筆記公衆號論

2024-04-19 14:00:25

論文提出了一種新的ViT位置編碼CPE，基於每個token的局部鄰域信息動態地生成對應位置編碼。CPE由卷積實現，使得模型融合CNN和Transfomer的優點，不僅可以處理較長的輸入序列，也可以在視覺任務中保持理想的平移不變性。從實驗結

2024-04-16 13:59:43

論文基於改進訓練配置以及一種新穎的蒸餾方式，提出了僅用ImageNet就能訓練出來的Transformer網絡DeiT。在蒸餾學習時，DeiT以卷積網絡作爲teacher，能夠結合當前主流的數據增強和訓練策略來進一步提高性能。從實驗結果來

2024-04-16 13:59:43

論文直接將純Trasnformer應用於圖像識別，是Trasnformer在圖像領域正式挑戰CNN的開山之作。這種簡單的可擴展結構在與大型數據集的預訓練相結合時，效果出奇的好。在許多圖像分類數據集上都符合或超過了SOTA，同時預訓練的成本

2024-04-12 14:00:13

論文認爲預測結果能夠更準確地區分正負樣本，提出結合預測結果IoU和anchor IoU來準確地選擇最高質量的預測結果進行網絡訓練。整體算法簡單但十分有效，值得看看來源：曉飛的算法工程筆記公衆號論文: Dynamic Label

2024-04-10 14:01:23

論文提出SFR模塊，直接重新激活一組淺層特徵來提升其在後續層的複用效率，而且整個重激活模式可端到端學習。由於重激活的稀疏性，額外引入的計算量非常小。從實驗結果來看，基於SFR模塊提出的CondeseNetV2性能還是很不錯的，值得學習

2024-04-09 13:59:40

論文提出能夠適配硬件加速的動態網絡DS-Net，通過提出的double-headed動態門控來實現動態路由。基於論文提出的高性能網絡設計和IEB、SGS訓練策略，僅用1/2-1/4的計算量就能達到靜態SOTA網絡性能，實際加速也有1.62

2024-04-09 13:59:40

論文基於training-aware NAS和模型縮放得到EfficientNetV2系列，性能遠優於目前的模型。另外，爲了進一步提升訓練速度，論文提出progressive learning訓練方法，在訓練過程中同時增加輸入圖片尺寸和

2024-04-01 14:03:34

論文參考信號處理中提升方案提出雙向池化操作LiftPool，不僅下采樣時能保留儘可能多的細節，上採樣時也能恢復更多的細節。從實驗結果來看，LiftPool對圖像分類能的準確率和魯棒性都有不錯的提升，而對語義分割的準確性更能有可觀的提升。不

2024-04-01 14:03:34

論文提出用於out-of-distributions輸入檢測的energy-based方案，通過非概率的energy score區分in-distribution數據和out-of-distribution數據。不同於softmax置信

2024-04-01 14:03:34

論文提出新穎的混合網絡用於解決長尾圖片分類問題，該網絡由用於圖像特徵學習的對比學習分支和用於分類器學習的交叉熵分支組成，在訓練過程逐步將訓練權重調整至分類器學習，達到更好的特徵得出更好的分類器的思想。另外，爲了節省內存消耗，論文提出原型

2024-03-29 14:00:04

論文通過分析發現FPN的成功在於divide-and-conquer策略解決了目標檢測的優化問題，藉此研究設計了僅用單層特徵預測的高效檢測網絡YOLOF。YOLOF在結構上沒有很多花哨的結構，卻在準確率、推理速度和收斂速度上都有不錯的提

2024-03-29 14:00:04