原创 基於tensorflow的LSTM實戰：MNIST分類
設置 RNN 的參數 ¶ 這次我們會使用 RNN 來進行分類的訓練 (Classification). 會繼續使用到手寫數字 MNIST 數據集. 讓 RNN 從每張圖片的第一行像素讀到最後一行, 然後再進行分類判斷. 接下來我們導入
2020-07-03 13:26:06
12
原创 tensorflow中解決過擬合(overfitting)的方法
Overfitting 也被稱爲過度學習，過度擬合。 它是機器學習中常見的問題。 舉個Classification（分類）的例子。 圖中黑色曲線是正常模型，綠色曲線就是overfitting模型。儘管綠色曲線很精確的區分了所有的訓練數據
2020-07-03 13:26:06
原创 tf.reduce_sum函數中reduction_indices詳解
TensorFlow 的python使用方式： 在tensorflow的使用中，經常會使用tf.reduce_mean,tf.reduce_sum等函數，函數中reduction_indices參數表示函數的處理維度： reduction
2020-07-03 13:26:06
原创 過擬合 (Overfitting)在機器學習和深度學習中的解決方式
學習資料: Tensorflow: dropout 教程 PyTorch: dropout 教程 Theano: l1 l2 regularization 教程 解決方法 方法一: 增加數據量, 大部分過擬合產生的原因是因爲數據量
2020-07-03 13:26:06
18
原创 李宏毅P1-學習筆記：生成對抗網絡GAN(Generative Adversarial Nets)
Generative Adversarial Network (GAN)於2014年提出。論文下載地址：https://arxiv.org/pdf/1406.2661.pdf 李宏毅對抗生成網絡(GAN)國語教程(2018): https
2020-07-03 13:26:06
原创 一句話版CNN學習
1）機器視覺的主要任務： image classification：即對圖片做單一物體識別； object detection：即對圖片做多物體識別，同事用方框框柱物體 ； neural style t
2020-07-03 13:26:06
原创 小型圖像數據集效果優化：使用預訓練的CNN
面對解決小型圖像數據集，一種常用且非常高效的方法是使用預訓練網絡。那麼什麼是預訓練網絡呢？ 定義： 預訓練網絡（pretrained network）是一個保存好的網絡，之前已經在大型數據集（通常是大規模圖像分類任務）上訓練好。 作用：
2020-07-03 13:26:06
原创 學習筆記P12——BP算法
學習網址：https://www.bilibili.com/video/av48285039?p=12 用gradient descent的方法來train一個neuron network應該怎麼做？通常利用BP【Backpropagat
2020-07-03 13:26:06
原创 resnet中的殘差連接
本文轉自微信公衆號“言有三”：【模型解讀】resnet中的殘差連接，你確定真的看懂了？ 一、殘差連接 想必做深度學習的都知道skip connect，也就是殘差連接，那什麼是skip connect呢？如下圖 上面是來自於resnet【
2020-07-03 13:26:06
原创 tensorflow學習筆記：TensorFlow的基本使用
TensorFlow 的特點： 使用圖 (graph) 來表示計算任務. 在被稱之爲 會話 (Session) 的上下文 (context) 中執行圖. 使用 tensor 表示數據. 通過 變量 (Variable) 維護狀態. 使用
2020-07-03 13:26:06
原创 詳解殘差網絡
在VGG中，卷積網絡達到了19層，在GoogLeNet中，網絡史無前例的達到了22層。那麼，網絡的精度會隨着網絡的層數增多而增多嗎？在深度學習中，網絡層數增多一般會伴着下面幾個問題 計算資源的消耗 模型容易過擬合 梯度消失/梯度爆炸問題的
2020-07-03 13:26:06
原创 張量tensor——神經網絡數據的表示
一般來說，當前所有機器學習系統都使用張量作爲基本數據結構。 張量的核心在於，它是一個數據容器。它包含的數據幾乎總是數值數據，因此它是數字的容器。如矩陣，它是二維張量。張量是矩陣向任意維度的推廣。【注意：張量的維度（dimension）通常
2020-07-03 13:26:06
原创 神經網絡結構拆分理解
訓練神經網絡主要圍繞一下四個方面： 1）層，多個層組合成網絡（或模型）。 2）輸入數據和相應的目標。 3）損失函數，即用於學習的反饋信號。 4）優化器，決定學習過程如何進行。 將上述四者的關係可視化爲： 多個層鏈接在一起組成了網絡，將輸
2020-07-03 13:26:06
原创 通俗理解tf.name_scope()、tf.variable_scope()
前言：最近做一個實驗，遇到TensorFlow變量作用域問題，對tf.name_scope()、tf.variable_scope()等進行了較爲深刻的比較，記錄相關筆記： tf.name_scope()、tf.variable_scop
2020-07-03 13:26:06
原创 卷積神經網絡中的1x1卷積核的作用
前言 在介紹卷積神經網絡中的1x1卷積之前，首先回顧卷積網絡的基本概念[1]。 1. 卷積核（convolutional kernel）：可以看作對某個局部的加權求和；它是對應局部感知，它的原理是在觀察某個物體時我們既不能觀察每個像素也不
2020-07-03 13:26:06