原创 常用損失函數

自己隨便亂粘的,自用 1、logloss對數損失函數 對數損失, 即對數似然損失(Log-likelihood Loss), 也稱邏輯斯諦迴歸損失(Logistic Loss)或交叉熵損失(cross-entropy Loss), 是在概

原创 深度學習:深度模型中的優化

機器學習中的優化   1、經驗風險最小化 機器學習算法的目標是降低目標函數的期望泛化誤差,這個數據被稱爲風險 將機器學習問題轉化爲一個優化問題的最簡單方法是最小化訓練集上的期望損失。這意味着用訓練集上的經驗分佈替代真實分佈。現在,我們將最

原创 深度學習中的正則化

在機器學習中,許多策略被顯式地設計來減少訓練誤差(可能也會以增大訓練誤差爲代價)。這些策略被統稱爲正則化。現在我們回顧幾種策略,以創建這些正則化地大型深度模型。 1、參數範數懲罰 通過添加參數範數懲罰,限制模型的學習能力 其中是權衡懲罰

原创 優化器算法

深度學習——優化器算法Optimizer詳解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam) 在機器學習、深度學習中使用的優化算法除了常見的梯度下降,還有 Adadelta

原创 krylov方法

Krylov方法是一種 “降維打擊” 手段,有利有弊。其特點一是犧牲了精度換取了速度,二是在沒有辦法求解大型稀疏矩陣時,他給出了一種辦法,雖然不精確。 假設你有一個線性方程組: Ax=b 其中A是已知矩陣,b是已知向量,x是需要求解的未知

原创 激活函數圖像總結

sigmoid和其導數的函數圖像 tanh圖像 relu函數圖像 maxout函數

原创 maxout算法

二、Maxout算法流程 1、算法概述 開始前我們先講解什麼叫maxout networks,等我們明白了什麼叫maxout 網絡後,再對maxout的相理論意義做出解釋。Maxout是深度學習網絡中的一層網絡,就像池化層、卷積層一樣等,

原创 馬爾可夫鏈

馬爾可夫鏈(Markov Chain, MC)是概率論和數理統計中具有馬爾可夫性質(Markov property)且存在於離散的指數集(index set)和狀態空間(state space)內的隨機過程(stochastic proc

原创 凸二次規劃

二次規劃的一般形式可以表示爲: 二次規劃一般形式 其中G是Hessian矩陣,τ是有限指標集,c,x和 ,都是R中的向量。如果Hessian矩陣是半正定的,則我們說該式是一個凸二次規劃,在這種情況下該問題的困難程度類似於線性規劃。如果

原创 NP完全問題

NP就是Non-deterministic Polynomial的問題,也即是多項式複雜程度的非確定性問題。 假設P ≠ NP的圖解。若P = NP則三類相同。 而如果任何一個NP問題都能通過一個多項式時間算法轉換爲某個NP問題,那麼這

原创 分類問題,標註問題和迴歸問題

分類問題: 評估分類器性能的指標一般是分類準確率,其定義是:對於給定的測試數據集,分類器正確分類的樣本數和總樣本數之比,也就是損失函數是0-1損失時候,測試數據集上的準確率。 對於二類分類問題常用的評價指標是精確率與召回率。通常以關注的類

原创 python_speech_features文檔翻譯

最近學習語音情感識別,需要提取語音特徵,用到python_speech_features這個庫,順便把文檔翻譯一下,希望能幫到需要的人。英語水平不高,難免有錯,敬請指正 歡迎來到python_speech_features的文檔! 這個庫

原创 截取一個文件夾下的所有視頻的幀

就是把一個文件夾裏的視頻都切成圖片,最大的問題是命名問題,如果能有個更一些的命名就好了,現在想要按順序排列就只能把文件排序方式改成按時間,而且只能把圖片存到原視頻文件夾下#獲取文件夾內的視頻名 def file_name(file_dir

原创 Python中的Subprocess模塊

轉自https://segmentfault.com/a/1190000009176351subprocess模塊可以運行系統命令,允許我們創建子進程,連接他們的輸入/輸出/錯誤管道,還有獲得返回值。subprocess.call()執行