原创 知識蒸餾 | 模型壓縮利器_良心總結
1.什麼是知識蒸餾 最近利用知識蒸餾的方法，對業務中的性能有了可觀的提升，因此在這裏總結一波。本文主要從宏觀的角度分析一下各個蒸餾算法的蒸餾方式，具體細節可以根據興趣閱讀論文~ 知識蒸餾是一種模型壓縮常見方法，用於模型壓縮指的是
2020-05-03 18:28:26
原创 ICLR 2017 | AT_注意力引導的知識蒸餾
ICLR2017 | Paying More Attention to Attention https://github.com/szagoruyko/attention-transfer 1.注意力機制 注意力在人類視覺體驗中起
2020-03-29 07:41:22
3
原创 ECCV2018 | PKT_概率知識蒸餾
ECCV2018 | Learning Deep Representations with Probabilistic Knowledge Transfer https://github.com/passalis/probabil
2020-03-23 04:02:03
1
原创 工程Trick | 合併BN層加速前向推理
1.BatchNorm 在訓練深度網絡模型時，BN（Batch Normalization）層能夠加速網絡收斂，並且能夠控制過擬合，一般放在卷積層之後。如下示意圖所示，BatchNorm是以通道爲單位，對當前通道中所有的N、H、W
2020-03-14 19:16:52
原创 CVPR 2018 | CPN_COCO2017姿態估計冠軍解決方案
CVPR 2018 | Cascaded Pyramid Network for Multi-Person Pose Estimation https://github.com/chenyilun95/tf-cpn 1.文章概述
2020-03-08 08:56:17
1
原创 SAGANPose | 隱式結構化對抗人體姿態估計網絡
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation Official Code: pytorch 1.背景分
2020-02-26 03:11:52
1
原创 SGANPose | 自對抗人體姿態估計網絡
Self Adversarial Training for Human Pose Estimation Official Code: pytorch 1.出發點 由於人體的遮擋和擁擠等現象，現有的人體姿態估計網絡很難解決此類情況下
2020-02-25 08:33:36
2
原创 基於CNN的2D單人體姿態估計論文綜述
1.DeepPose（谷歌大佬首次提出人體關鍵點解決方案） 2.Joint-cnn-mrf（在cnn框架下利用條件隨機場對位置進行建模，提出了heatmap） 3.SpatialDropout （LeCun團隊首次將多尺度應用於
2020-02-23 07:18:09
11
原创 Anchor Loss | ICCV2019，優化分類性能
本文提出了一種基於樣本預測困難度動態調整交叉熵的損失函數，它根據預測的相對困難程度來自動調節損失的大小。 在本文中，我們將介紹anchor loss，並解釋圖像分類中anchor loss。首先，我們定義了預測的困難，並給出了相關
2020-02-23 07:18:09
1
原创 數字圖像處理 | 對比度在圖像中起到什麼作用
你真的瞭解對比度嗎？對比度是數字圖像中非常基本的概念，一幅圖像中明暗區域最亮的白和最暗的黑之間不同亮度層級的測量，即指一幅圖像灰度反差的大小。直白的說就是：對比度大整體的色彩更鮮豔，對比度小色彩感更平淡。接下來我們用像素直方圖的例
2020-02-23 07:18:09
原创 pytorch中的參數類——torch.nn.parameter
1.torch.nn.parameter概要 pytorch官網對torch.nn.parameter的描述如下。 torch.nn.parameter是一個被用作神經網絡模塊參數的tensor。這是一種tensor的子類。 p
2020-02-23 07:18:09
原创 pytorch | 文檔學習_持續更新
1.自動求導機制 每一個tensor都有一個required_grad字段，該字段能夠從梯度計算中以最小計算爲單位對計算圖進行操作，更加靈活效率更高。 某個tensor的來源中，只要有一個tensor的required_grad
2020-02-23 07:18:09
原创 動手學習深度學習 | 語言模型和循環神經網絡筆記
0.文本處理整體概況 step1：對原始數據進行分詞 step2：對分詞後的數據進行去重編號，得到[詞語to序號]的列表，和[序號to詞語]的字典。將這兩部分用作後續訓練循環神經網絡的數據集。 step3：通過一些採樣方法對構建的
2020-02-23 07:18:09
原创 UDP無偏數據處理 | 人體姿態估計通用trick
The Devil is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation github地址 1.使用連續度量標準 數據
2020-02-23 07:18:09
原创 動手學習深度學習 | 筆記彙總
1.筆記1 (1) pytorch相關類的學習 pytorch中的參數類——torch.nn.parameter pytorch中的順序容器——torch.nn.Sequential pytorch中的神經網絡模塊基礎類——tor
2020-02-23 07:18:09