原创 4.8 高級神經網絡結構-AutoEncoder (自編碼/非監督學習)

目錄 1.寫在前面 2.訓練數據 3.AutoEncoder 4.訓練 5.畫3D圖 6.完整代碼演示 1.寫在前面         神經網絡也能進行非監督學習, 只需要訓練數據, 不需要標籤數據. 自編碼就是這樣一種形式. 自編碼能自動

原创 4.11 高級神經網絡結構-什麼是生成對抗網絡( GAN )

目錄 1.寫在前面 2.常見的神經網絡形式 3.生成網絡 4.新手畫家 5.新手鑑賞家 6.新手鑑賞家和新手畫家 7.GAN網絡 8.GAN應用 1.寫在前面         今天我們會來說說現在最流行的一種生成網絡, 叫做 GAN, 又

原创 大數據掃地僧之路

        這個系列是大數據相關知識,大致包含五個方面,第一個階段是linux和高併發基本知識;第二個是hadoop體系的離線計算;第三個階段是spark體系的分佈式計算;第四個階段是機器學習和數據挖掘相關部分;最後第五階段是大數據項

原创 5.4 高階內容-Dropout 緩解過擬合

目錄 1.寫在前面 2.做點數據 3.搭建神經網絡 4.訓練 5.對比測試結果 6.完整代碼演示 1.寫在前面        過擬合讓人頭疼, 明明訓練時誤差已經降得足夠低, 可是測試的時候誤差突然飆升. 這很有可能就是出現了過擬合現象.

原创 5.1 高階內容-爲什麼 Torch 是動態的

目錄 1.寫在前面 2.動態?靜態? 3.動態RNN 4.完整代碼演示 1.寫在前面         聽說過 Torch 的人都聽說了 torch 是動態的, 那他的動態到底是什麼呢? 我們用一個 RNN 的例子來展示一下動態計算到底長什

原创 3.6 PyTorch搭建第一個神經網絡-優化器的比較(Optimizer )

目錄 1.寫在前面 2.實驗對比各種優化器效果 3.僞數據 4.每個優化器優化一個神經網絡 5.優化器 Optimizer 6.訓練/出圖 7.完整代碼演示 1.寫在前面         這節內容主要是用 Torch 實踐幾種優化器, 這

原创 3.2 PyTorch搭建第一個神經網絡-區分類型(分類Classification)

目錄 1.寫在前面 2.建立數據集 3.建立神經網絡 4.訓練網絡 5.可視化訓練過程 1.寫在前面         上篇博客我們詳細介紹了PyTorch在解決迴歸問題上,主要的解決方法步驟。在日常任務中,除了迴歸任務,另外一個比較常見的

原创 1.4.6 linux和高併發-shell編程-添加用戶腳本

目錄 1.寫在前面 2.需求分析 3.bash命令行流程熟悉 4.添加用戶腳本 1.寫在前面         我們在之前的學習過程中,已經重點講解了關於腳本的基本知識,包括腳本的變量,引用和邏輯判斷以及表達式的概念。我們現在就開始正式的進

原创 4.4 高級神經網絡結構-什麼是 LSTM 循環神經網絡

目錄 1.寫在前面 2.RNN的弊端 3.LSTM 1.寫在前面         今天我們會來聊聊在普通RNN的弊端和爲了解決這個弊端而提出的 LSTM 技術. LSTM 是 long-short term memory 的簡稱, 中文叫

原创 1.4.8 linux和高併發-shell編程-shell腳本編程總結

目錄 1.寫在前面 2.需求分析 3.腳本編寫         1.寫在前面         我們在之前已經重點講解過了關於linux中shell編程的基本知識。 這節課我們根據需求做個實踐,加深一下對shell腳本編程這部分知識的掌握。

原创 5.3 高階內容-什麼是過擬合 (Overfitting)

目錄 1.寫在前面 2.過於自負 3.迴歸分類的過擬合 4.解決方法 1.寫在前面         今天我們會來聊聊機器學習中的過擬合 overfitting 現象, 和解決過擬合的方法. 2.過於自負         在細說之前, 我們

原创 3.5 PyTorch搭建第一個神經網絡-優化器和批訓練加速神經網絡訓練(Speed Up Training)

目錄 1.寫在前面 2.訓練優化器 2.1 Stochastic Gradient Descent (SGD)  2.2 Momentum 更新方法 2.3 AdaGrad 更新方法 2.4 RMSProp 更新方法 2.5 Adam 更

原创 2.2 PyTorch神經網絡基礎-Torch中的變量Variable

目錄 1.寫在前面 2.定義一個Variable 3.Variable計算,梯度 4.獲得Variable裏面的數據 1.寫在前面         在 Torch 中的 Variable 就是一個存放會變化的值的地理位置. 裏面的值會不停

原创 4.5 高級神經網絡結構-RNN 循環神經網絡 (分類【MNIST手寫數字識別】)

目錄 1.寫在前面 2.MNIST手寫數據 3.RNN模型 4.訓練 5.完整代碼演示 1.寫在前面         循環神經網絡讓神經網絡有了記憶, 對於序列話的數據,循環神經網絡能達到更好的效果. 接着我們就一步一步做一個分析手寫數字

原创 4.12 高級神經網絡結構-GAN (Generative Adversarial Nets 生成對抗網絡)

目錄 1.寫在前面 2.超參數設置 3.著名畫家的畫 4.神經網絡 5.訓練 6.可視化訓練過程 7.完整代碼演示 1.寫在前面         GAN 是一個近幾年比較流行的生成網絡形式. 對比起傳統的生成模型, 他減少了模型限制和生成