原创 leetcode 827: Making A Large Island 深度優先搜索and二維數組分塊技術 （C++）
題目描述: In a 2D grid of 0s and 1s, we change at most one 0 to a 1. After, what is the size of the largest island? (An isl
2020-06-09 04:53:22
6
原创 Binarized Neural Networks:Training Deep Neural Networks with Weights and Activations -1,1
文章鏈接：Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 這是20
2020-06-09 04:53:12
原创 【親測】神經網絡訓練時出現loss=nan或loss不變的解決辦法
今天用最原始的tensorfow.nn.conv2d構建一個三層CNN網絡並基於MNIST數據集訓練的時候出現了loss=nan的情況，折騰了一晚上，摸索出幾個的解決方案。 1.在loss函數某個位置添加了1e
2020-06-09 04:53:12
9
原创 論文筆記：Dorefa-Net
Dorefa-Net由FACE++提出，論文地址：https://arxiv.org/abs/1606.06160 1、背景： 訓練神經網絡需要大量的時間，爲了減少這些時間，對模型進行量化是個不錯的選擇。但是，以往的工作沒有對梯度/激活函
2019-03-06 13:59:32
83
原创 2019 CVPR: A main/subsidiary network framework for simplifying binary neural networks
這是一篇2019年的CVPR，其工作十分有趣！筆者下面帶大家簡單地看看這篇文章： 論文地址：https://arxiv.org/abs/1812.04210 1、摘要 模型壓縮研究領域中有兩種熱門的方法：量化和剪枝，這些都在我的博客中講過
2019-03-03 21:26:09
20
原创 Discrimination-aware Channel Pruning for Deep Neural Networks：基於鑑別力感知的深度神經網絡剪枝
相比於筆者之前講的幾種剪枝方法，這篇文章的剪枝方法比較複雜。文章首先提出了一種假設： informative channel, no matter where it is, should own discrimination power,
2019-02-28 20:56:06
9
原创 Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning
這是CVPR 2017年的一篇論文，研究的是：基於能量消耗導向的網絡剪枝。 當我們把CNN運用到嵌入式等電池驅動的設備上時，其能量消耗是個不可忽視的大問題。比如，在一個智能手機上，AlexNet不能運行超過一個小時。而以往地針對網絡剪枝的
2019-02-27 21:07:33
原创 An Entropy-based Pruning Method for CNN Compression
這篇文章也是網絡剪枝的早期文章，其算法是filter級別的裁剪。文章認爲weights的大小不能決定一個filter的重要性，應該用熵來決定： 而對於這個概率pi，其得到方法如下： 簡單來說，就是用全局平均池化來轉化一個layer的o
2019-02-27 21:07:33
29
原创 Network Trimming: 數據指導的神經剪枝方法
這是模型壓縮的一篇比較早的論文，論文提出的方法也很簡單，對於神經網絡，用訓練數據來統計神經網絡層的冗餘度，具體公式見下： 簡單地解釋上面的公式：輸入N張圖片，統計一個包含M個輸出通道的神經層裏激活爲0的神經元佔該層神經元的總數。 然後根
2019-02-27 21:07:22
1
原创 Ternary Neural Networks with Fine-Grained Quantization
這篇文章主要針對以往三值量化一刀切的粗暴“量化”方式提出“細粒度”量化的想法。 文章目的將現有的網絡不經訓練地轉化爲三值網絡，且激活函數8bit/4bit的。 相對於前人的工作，這篇文章的創新點在於Weight Grouping上。 3.
2019-02-16 15:52:44
7
原创 Coarse pruning of convolutional neural networks with random masks
這是ICLR 2017的一篇文章，文章認爲既然我們無法直觀得去衡量weights，layers，kernels的重要性，那我們就用random的方式。對於N個要剪枝的對象，我們可以有2^N種組合。在給定裁剪率 α 的情況下，就有 α*2^
2019-02-14 13:48:29
2
原创 Pruning convolutional neural networks for resource efficent inference
這是篇2017年ICLR的會議，文章提出了一種基於泰勒展開的網絡剪枝方法。文章認爲，這裏一類的剪枝方法一般分爲三類： 一個已經訓練好的網絡 基於一定的準則在修剪和微調反覆 適時地停止 所以，這個修剪的“準則”就十分的重要，文章列出了
2019-02-14 13:48:29
原创 增量量化網絡：towards lossless CNNs with low-precision weights
這篇文章的內容屬於模型壓縮範疇中權值的量化、共享。傳統的權值量化存在兩個不可忽視的問題： non-negligiable accuracy loss the increased number of training iterations
2019-02-11 21:05:30
原创 Deep Compression:compressiong neural networks with pruning,trained quantization and huffman coding
這是關於模型壓縮的一篇文章，文章提出了一個壓縮深度神經網絡的三步走pipline：剪枝，量.化和霍夫曼編碼 1、剪枝： 因爲這是篇2016年的文章，所以剪枝方法比較粗暴：直接刪除閾值低於某一值的連接，再進行下fine-tuning，這種
2019-02-10 20:57:45
原创 【親測】神經網絡訓練時出現loss=nan的解決辦法
今天用最原始的tensorfow.nn.conv2d構建一個三層CNN網絡並基於MNIST數據集訓練的時候出現了loss=nan的情況，折騰了一晚上，摸索出幾個的解決方案。 1.在loss函數某個位置添加了1e
2018-12-12 13:42:42
4