原创 python實現二叉查找樹
1. 定義 二叉查找樹（Binary Search Tree），又稱爲二叉搜索樹、二叉排序樹。其或者是一棵空樹；或者是具有以下性質的二叉樹： 若左子樹不空，則左子樹上所有結點的值均小於或等於它的根結點的值 若右子樹不空，則右子樹
2020-06-28 08:36:07
原创 Tensorflow - Tutorial (7) : 利用 RNN/LSTM 進行手寫數字識別
1. 常用類 class tf.contrib.rnn.BasicLSTMCell BasicLSTMCell 是最簡單的一個LSTM類，沒有實現clipping，projection layer，peep-hole等一些LSTM
2020-06-28 08:36:07
1
原创 Adaptive Boosting(AdaBoost)
1. Motivation bootstrap在訓練集上通過有放回的採樣構造出不同的訓練數據，該過程可以看作在完整訓練集上，爲每一個樣本賦予不同的權重。若該樣本在本次抽樣中沒有被選中，則其權重爲0。 在採樣得到的每一個數據集 u
2020-02-21 17:58:29
3
原创 Aggregation總結：Blending和Bootstrap
1. Aggregation 首先舉一個買房的例子，假如你有10個朋友給出了買房的意見，你如何參考這10個人的意見做出決定呢？ 第一種辦法是讓大家投票，每人一票，最後選擇得票數最多的那個選項 第二種辦法也是投票，與第一種不同的
2020-02-21 17:58:28
2
原创 混合高斯模型
1. 單高斯模型（SGM） 多維高斯分佈的概率密度函數如下式所示： N(x|μ,Σ)=12π|Σ|√e−12(x−μ)⊤Σ−1(x−μ) 對於單高斯模型，由於可以明確訓練樣本是否屬於該高斯模型，因此 μ 通常由訓練樣本均值代
2020-02-21 17:58:28
1
原创 動態規劃算法
1. 動態規劃算法 動態規劃：通過把原問題分解爲相對簡單的子問題來求解複雜問題。動態規劃常常適用於有重疊子問題和最優子結構性質的問題。 算法總體思想 動態規劃算法與分治法類似，其基本思想也是將待求解問題分解成若干個子問題
2020-02-21 17:58:28
原创 分治法
1. 分治法 分治法的基本思想是將一個規模爲n的問題分解爲k個規模較小的子問題，這些子問題相互獨立且與原問題相同。遞歸的解這些子問題，然後將各子問題的解合併得到原問題的解。 分治模式在每一層遞歸上都有三個步驟：分解（Divide
2020-02-21 17:58:28
原创 EJB淺析
1. 我們不禁要問，什麼是"服務集羣"？什麼是"企業級開發"？ 既然說了EJB 是爲了"服務集羣"和"企業級開發"，那麼，總得說說什麼是所謂的"服務 集羣"和"企業級開發"吧！ 這個問題其實挺關鍵的，因爲J2EE 中並沒有說明白，也沒
2020-02-21 17:58:28
原创 回溯法
1. 回溯法 回溯法是一種選優搜索法，按選優條件向前搜索，以達到目標。但當探索到某一步時，發現原先選擇並不優或達不到目標，就退回一步重新選擇，這種走不通就退回再走的技術爲回溯法。 基本思想： 回溯法在問題的解空間樹中進行深度優先
2020-02-21 17:58:27
原创 數據預處理與特徵選擇
數據預處理和特徵選擇是數據挖掘與機器學習中關注的重要問題，坊間常說：數據和特徵決定了機器學習的上限，而模型和算法只是逼近這個上限而已。特徵工程就是將原始數據轉化爲有用的特徵，更好的表示預測模型處理的實際問題，提升對於未知數據的預測
2020-02-21 17:58:27
原创 KMP算法：查找子字符串
原文地址 ：字符串匹配的KMP算法 字符串匹配是計算機的基本任務之一。舉例來說，有一個字符串"BBC ABCDAB ABCDABCDABDE"，我想知道，裏面是否包含另一個字符串"ABCDABD"？ 許多算法可以完成這個任
2020-02-21 17:58:27
原创 貪心算法
1. 貪心算法 基本思想： 優化問題的算法往往包含一系列步驟，貪心算法在每一步選擇中都採取在當前狀態下最優的選擇，目的是希望由此導出的果是最優的 貪心算法在求解問題時並不着眼於整體最優，它所作出的選擇僅僅是當前看來是最優的 貪心
2020-02-21 17:58:27
原创 Tensorflow - Tutorial (6) : TensorBoard 可視化工具
1. TensorBoard 爲了更方便 TensorFlow 程序的理解、調試與優化，TensorFlow發佈了一套叫做 TensorBoard 的可視化工具。可以用 TensorBoard 來展現 TensorFlow 圖像，
2020-02-21 17:58:27
原创 隨機森林與GBDT
1. 隨機森林 1.1 決策樹 決策樹分爲兩大類，分類樹和迴歸樹。分類樹是我們比較熟悉的決策樹，比如C4.5分類決策樹。分類樹用於分類標籤值，如晴天/陰天、用戶性別、網頁是否是垃圾頁面。而回歸樹用於預測實數值，如明天的溫度、用戶的
2020-02-21 17:58:27
原创 循環神經網絡與LSTM
1. 循環神經網絡 ①基本結構 在傳統的神經網絡模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網絡對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到
2020-02-21 17:58:27