原创 相對熵 KL散度 （KullbackLeibler divergence）

這個屬於香農信息論中的東西，在《PRML》書中1.6 信息論小節中有具體說明。真正碰到應用還是在洛桑聯邦理工的POM文章中（概率佔用圖）。作者使用自己產生的估計Q來去逼近未知分佈P，其中P是一個後驗概率分佈。這篇博文旨在明確KL散度的定義

2020-06-16 04:05:31 4

原创 約束優化方法_2_——Frank-Wolfe方法

  Frank-Wolfe方法屬於約束優化中可行方向法的一種。上一篇博文對同類型的Zoutendijk可行性方法進行了介紹，這一部分着重關注Frank-Wolfe方法。Frank-Wolfe方法的基本思想是：每次迭代中使用一階泰勒

2020-06-16 04:05:31 9

原创 argparse模塊使用說明

深度學習的工程中，py文件中的main函數一開始總會有大量的參數傳入，而通常使用的方法就是使用argparse通過命令行傳入，這篇博文旨在記錄argparse的常用方法。 一、語句簡介 1.載入argparse模塊： import ar

2020-06-16 04:05:31 1

原创 Tensorboard在網絡訓練中的Logger使用方法

做爲神經網絡訓練中最常用的可視化工具，Tensorboard經常在Pytorch和Tensorflow框架中做爲可視化工具。但是其使用的確是有點繁瑣，所以開設了一個這樣的專題，用於總結見過的工程裏面的數據Logger設定方法。希望自己能夠

2020-06-16 04:05:31 3

原创 洛桑聯邦理工 TPAMI-2008 MTMC 概率佔用圖POM建模過程推導 筆記

 一切都要從2019年9月的那個秋天講起，林野哥向我推薦了這篇洛桑聯邦理工的2008年TPAMI論文，於是一個半月的時間都花在了這上面。Multi-Camera People Tracking with a Probabilistic O

2020-06-16 04:05:31

原创 Pytorch訓練流程

調試了很久YOLO的標準Pytorch實現，將Train代碼進行了重新整理，抽出了標準的Pytorch訓練框架。現在整理下來，以備後用。整理後的代碼分爲三個大部分，每個大部分分爲三個小部分： 1、初始化（Init）：訓練之前先分別創建M

2020-06-16 04:05:31 19

原创 《最優化理論與算法》最優化條件部分學習感悟

最優化學到了最優化條件部分，由於自己的數學功底實在是太差，啃得很慢。今天下午終於對“約束極值問題的最優性條件”部分有了相對宏觀的視角，所以記錄下來以備後用。   【必要條件】：如果已經知道了是最優解，那麼它一定滿足的條件。最優化中通常都

2020-06-16 04:05:31

原创 概率圖模型-知識結構

兩週多，終於把概率圖模型這一章看完了，由於只是看了知識框架，很多具體細節都還不理解。內容真的是好多啊，而且都是理論，沒有實踐。希望日後用到的時候能回憶的起來這些內容吧。              

2020-06-16 04:05:31

原创 Kalman Filter原理簡介及C++實現

本博文內容參考了北卡羅來納大學教堂山分校的文章  An Introduction to the Kalman Filter。 目錄 一、Kalman Filter簡介 二、估計與觀測過程 三、KF的計算起源（Computational O

2020-06-16 04:05:31 18

原创 MOT指標筆記《CLEAR Metrics-MOTA&MOTP》2008年·卡爾斯魯厄大學

搞了這麼久的MOT，到頭來發現最基本的MOTA和MOTP還沒有搞懂，實在有點說不過去。今天花了一上午的時間閱讀2008年卡爾斯魯厄大學的《Evaluating Multiple Object Tracking Performance: T

2020-06-16 04:05:31 2

原创 機器學習基礎——徹底搞懂Precision\Recall\F1\P-R\ROC

一直以爲自己理解這些概念，但是其實只是聽說過而已。這些概念的釋義來自於周志華教授的《機器學習》，都屬於對機器學習算法的性能度量。 一、錯誤率與精度 還是使用書上的定義寫的明確，test set中所有樣本預測對和預測錯所佔的比例就是這兩個指

2020-03-16 06:38:29

原创 神經網絡運算量&參數量估計——FLOPS和FLOPs辨析

一、概念明晰 首先要明確“運算量”和“參數量”兩個概念： 參數量：這個比較好理解，例如卷積層中的卷積核c_i*k*k*n_o，其參數量就是相乘的結果。而且，無論輸入圖像的尺寸怎麼變（YOLO實現中的multi scale訓練策略），只要

2020-03-01 18:57:45 2

原创 Vulkan着色器的GLSL創建、編譯、加載、創建流程

Vulkan沒有指定官方的着色器編程語言，而是採用SPIR-V二進制中間格式進行表示。開發人員一般需要基於某種着色器編程語言開發着色器，之後再編譯爲SPIR-V格式。可以選用GLSL着色器編程語言進行開發。        大型遊戲場景中，

2020-02-21 20:15:29 3