原创 Tensorflow：基本原理、數據類型及編碼、轉換
基本原理 在TensorFlow中，所有的操作只有當你執行，或者另一個操作依賴於它的輸出時纔會運行。 運行op 構建圖時不需要顯示聲明變量名，如 tf.concat(axis=1, values=initial_state, name=
2020-06-22 02:50:29
原创 TensorFlow：交叉熵損失函數
基礎 softmax歸一化計算 什麼是logits？ logits就是神經網絡模型中的 W * X矩陣，注意不需要經過sigmoid，即爲未通過激活函數的原始輸出。Tensorflow "with logit": The
2020-06-22 02:50:29
24
原创 Tensorflow：estimator訓練
學習流程：Estimator 封裝了對機器學習不同階段的控制，用戶無需不斷的爲新機器學習任務重複編寫訓練、評估、預測的代碼。可以專注於對網絡結構的控制。 數據導入：Estimator 的數據導入也是由 input_fn 獨立定義的。例如，
2020-06-22 02:16:59
15
原创 Tensorflow：可視化學習TensorBoard
用 TensorBoard 來展現 TensorFlow 圖，繪製圖像生成的定量指標圖以及顯示附加數據（如其中傳遞的圖像）。 tensorflow.summary scalar一般用於數值的顯示 如 tf.summary.scalar(s
2020-06-22 02:16:59
17
原创 Tensorflow：模型訓練tensorflow.train
深度學習訓練中的幾個概念 （1）batchsize：批大小。在深度學習中，一般採用SGD訓練，即每次訓練在訓練集中取batchsize個樣本訓練；一次Forword運算以及BP運算中所需要的訓練樣本數目，其實深度學習每一次參數的更新所
2020-06-22 02:16:59
1
原创 Tensorflow：模型調參
Tensorflow中使用gridsearch 1 使用tf.contrib.learn.estimators 使用tf中自帶的Estimator將自定義的tf模型轉換成估計器，輸入到sklearn中的gridesearch運行。
2020-06-22 02:16:59
原创 Keras：模型評估
keras模型評估 keras能用的模型評估不多，有的可能是這些評估在keras框架下不準確，如果要用，可以使用tensorflow或者sklearn中的評估模型。 tensorflow: from tensorflow.pytho
2020-06-22 02:16:59
原创 Tensorflow：安裝和配置
安裝anaconda windows下直接安裝，最好勾上python加入系統路徑。 查看及安裝tensorflow依賴 查看cuda版本（機器支持gpu的不考慮） cat /usr/local/cuda/version.txt cud
2020-06-22 02:16:59
原创 深度學習：ELMO、GPT和BERT模型
ELMO模型 ELMo的整體圖。第一使用了多層LSTM，第二增加了後向語言模型（backward LM）。 Note: 1 輸入是一個句子的embedding E1~En，輸出是T1～Tn（分別對應其上下文）。 2 從圖中箭頭可以看出
2020-06-03 09:22:00
原创 深度學習：長短期記憶模型LSTM的變體和拓展（GRU模型等）
http://blog.csdn.net/pipisorry/article/details/78362537 原始的LSTM [深度學習：長短期記憶模型LSTM] LSTM模型的拓展 [Greff, Klaus, et al. "LS
2020-06-03 09:22:00
原创 中文分詞：正向最大匹配與逆向最大匹配
正向（前向）最大匹配與逆向（後向）最大匹配。 中文分詞目前可以分爲“規則分詞”，“統計分詞”，“混合分詞（規則+統計）”這三個主要流派。這次介紹下基於規則的分詞，其是一種機械的分詞方法，主要通過維護詞典，在切分語句時，將語
2020-04-20 01:07:05
原创 深度學習：批歸一化Batch Normalization
深度神經網絡模型訓練難，其中一個重要的現象就是 Internal Covariate Shift. Batch Norm 自 2015 年由Google 提出之後， Layer Norm / Weight Norm / C
2020-03-11 03:53:20
83
原创 Tensorflow：名字/變量空間和變量共享
name_scope: 爲了更好地管理變量的命名空間而提出的。比如在 tensorboard 中，因爲引入了 name_scope， 我們的 Graph 看起來才井然有序。 variable_scope:
2019-08-01 22:56:38
50
原创 Tensorflow：分類模型評估
使用tf.estimator時，如果調用 Estimator 的 evaluate 方法，則 model_fn 會收到 mode = ModeKeys.EVAL。在這種情況下，模型函數必須返回一個包含模型損失和一個或多個指
2019-07-16 21:44:32
41