原创 Transformer端側模型壓縮——Mobile Transformer
隨着Transformer模型在NLP、ASR等序列建模中的普及應用，其在端側等資源受限場景的部署需求日益增加。經典的mobile-transformer結構包括evolved tansformer、lite-transformer、mo
2020-06-21 18:07:19
45
原创 基於生成對抗的結構剪枝——Generative Adversarial Learning
"Towards Optimal Structured CNN Pruning via Generative Adversarial Learning" 這篇文章提出了非常新穎的結構剪枝策略：基於生成對抗的思路，將剪枝網絡設置爲生成器（G
2020-06-21 18:07:19
1
原创 CUDA版本的Locality-aware NMS
GitHub (CUDA)：https://github.com/yiwuyao3863/locality_aware_nms_east EAST文本檢測涉及的Locality-aware NMS，通過合併同類型的傾斜框（IOU高於一定的
2020-06-21 18:07:19
2
原创 Post-training量化策略——without training or re-training
基於Pre-trained模型，採用Post-training量化策略，能夠在一定程度上彌補量化精度損失，並且避免了相對耗時的quantization-ware training或re-training過程。 WA與BC "Data-
2020-06-21 18:07:18
5
原创 Learning Dynamic Routing for Semantic Segmentation——在線動態定義網絡結構
Paper Link: https://arxiv.org/abs/2003.10401 GitHub (PyTorch): https://github.com/yanwei-li/DynamicRouting Introduction
2020-05-30 22:48:34
7
原创 ABCnet——高精度二值化網絡（Binary Neural Network）
"Towards Accurate Binary Convolutional Neural Network"這篇文章提出了ABCnet，是一種表示精度較高的二值化網絡結構（作爲XNORnet的演進）。有關XNORnet及其優勢可以參考論文
2020-05-30 22:48:34
原创 Soft Filter Pruning (SFP)——允許更新Pruned Filters的Channel Pruning策略
論文地址：https://arxiv.org/abs/1808.06866 GitHub (PyTorch)：https://github.com/he-y/soft-filter-pruning "Soft Filter Pruning
2020-05-30 22:48:23
原创 Network Slimming——有效的通道剪枝方法（Channel Pruning）
"Learning Efficient Convolutional Networks through Network Slimming"這篇文章提出了一種有效的結構性剪枝方法，即規整的通道剪枝策略：在訓練期間，通過對網絡BN層的gamma
2020-05-30 22:48:23
原创 Sparse-Winograd CNN——權重剪枝與Winograd的結合
Winograd快速卷積算法，能夠實現3x3或5x5 Conv2D的有效加速，具體可參考Intel的介紹：https://ai.intel.com/winograd-2/ "Efficient Sparse-Winograd Convol
2020-05-30 22:48:23
原创 CenterMask : Real-Time Anchor-Free Instance Segmentation
Paper Link: https://arxiv.org/abs/1911.06667 GitHub (PyTorch): https://github.com/youngwanLEE/CenterMask Introduction 實
2020-04-24 22:53:46
1
原创 阿里雲PAI平臺——模型與系統優化
一、模型優化方向 基本要求： 熟悉深度學習理論，知其然知其所以然；有深度學習模型訓練經驗；對於業界及學術界最新模型進展保持關注與好奇心，瞭解目前最新模型基本結構與原理；良好的工程素養，熟練使用python，熟悉Tensorflow/PyT
2020-04-19 22:46:31
原创 BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation
Paper link: https://arxiv.org/abs/2001.00309 GitHub (PyTorch, 基於Detectron2): https://github.com/aim-uofa/adet Introduct
2020-03-29 08:38:26
2
原创 網絡結構搜索 (NAS: Network Architecture Search)
NAS Definition 基於搜索策略，並結合約束條件 (如accuracy、latency)，在搜索空間內 (set of candidate operations or blocks)探索最優網絡結構、或組件結構 (如detect
2020-02-21 10:05:45
10
原创 基於可訓練Step-size的低比特量化——LSQ: Learned Step-size Quantization
Paper地址：https://arxiv.org/abs/1902.08153 GitHub地址 (PyTorch)：https://github.com/zhutmost/lsq-net 基本量化設置 計算結點僞量化： Weight跟
2020-02-21 10:05:45
9
原创 NVIDIA INT4量化算法介紹
MLPerf是由來自學界和業界的多個組織（包括Google、Baidu、Intel、AMD、哈佛和斯坦福）共同發佈的新型AI基準平臺，用於衡量機器學習平臺的AI性能，是目前業界最權威、最公正的AI性能評測平臺之一。MLPerf目前已推出v
2020-02-21 10:05:45
30