原创 ASCII, Unicode
自己開發的NLP小項目，將BERT, ALBERT和GPT2用Tensorflow2.0重寫。歡迎圍觀https://github.com/kyzhouhzau/fennlp 衆號分享機器學習，深度學習知識和技巧
2020-06-17 06:47:25
原创 深度學習模型在訓練時候使用dropout爲何在測試時候不使用dropout?
深度學習模型在訓練時候使用dropout爲何在測試時候不使用dropout? 深度學習模型訓練時候使用dropout實際上只是讓部分神經元在當前訓練批次以一定的概率不參與更新，這樣使得每一輪迭代獲得的模型都是不一樣的。這個過程一定
2020-06-17 06:47:25
5
原创 是誰佔用了我的顯存？（深度學習顯存佔用分析）
自己開發的NLP小項目，將BERT, ALBERT和GPT2用Tensorflow2.0重寫。歡迎圍觀 https://github.com/kyzhouhzau/NLPGNN 衆號分享機器學習，深度學習知識和技巧，
2020-06-17 05:47:22
原创 基於Tensorflow2.0實現圖神經網絡中Message Passing
基於Tensorflow2.0實現圖神經網絡中Message Passing 近年來圖神經網絡越來越受到科研領域的關注，而衆多的圖聖經網絡都是通過message passing方法來更新網絡中節點的狀態。Message Passi
2020-06-17 05:47:22
原创 Adam 和隨機梯度下降的區別？
1、Adam 和隨機梯度下降的區別？ 一、SGD 1.1 對每一個待更新參數的求梯度，並在一定的學習率下按照梯度反方向更新參數。 1.2 但該方法存在顯著的弊端，例如以下這樣的損失函數：在不同的參數方向一方面學習率不應當一樣，因爲
2020-06-17 05:47:22
原创 在word中插入公式並給公式編號
插入公式和設置編號： 在word中插入公式應當說相當簡單了，可能你會想到用：插入->公式 但該方法插入公式有很大的弊端，比如說，看上去並不是很好看，比如說引用起來不方便，比如說LaTeX支持不全面。所以今天介紹一個我用的word插件叫Ma
2020-06-17 05:47:22
原创 dropout原理是什麼（公式層面）， 爲什麼要用？
2、dropout原理是什麼（公式層面）， 爲什麼要用？ 1、dropout是一種常用的防止過擬合的方法。 在實踐中，我們通常可以通過，增加訓練樣本，早停（即提前停止訓練過程），L1\L2正則，dropout，以及batch no
2020-06-17 05:02:13
原创 MySQL（part1）
新博客地址：https://kyzhou.bitcron.com/ MySQL 第一章 參考：實驗樓 https://www.shiyanlou.com/courses sudo service mysql start 或者通過
2020-06-08 04:29:51
原创 Message Passing (基於tensorflow2.0)
近年來圖神經網絡越來越受到科研領域的關注，而衆多的圖聖經網絡都是通過message passing方法來更新網絡中節點的狀態。 在fennlp中我通過tensorflow2.0實現了message passing並基於此實現了GA
2020-04-25 21:22:30
原创 Message Passing （tensorflow2.0實現）
以上介紹了Message Passing的基本機制，實際上GCN, GAN，GIN等圖神經網絡模型都可以寫成這種message Passing的形式，並且更方便做模型理解與設計。 前面已經說到在pytorch中已經將Messa
2020-04-25 21:22:30
原创 BPE, WordPiece, SentencePiece
自己開發的NLP小項目，將BERT, ALBERT和GPT2用Tensorflow2.0重寫。歡迎圍觀 https://github.com/kyzhouhzau/fennlp 衆號分享機器學習
2020-04-09 19:48:54
8
原创 如何在word中高效的引用文獻（EndNote）
最近在寫畢業論文，由於之前做的很多都是數學相關的工作，而且部分工作都是用英文撰寫的。之前一直習慣於用LaTeX寫數學相關工作，一方面是其有豐富的論文格式模板，另一方便，用LaTeX寫數學公式相當美觀而且易用。 本來打算畢業論文也用La
2020-02-21 10:25:39
1
原创 Tensorflow2.0對不同層指定學習率
在使用Tensorflow編寫深度學習模型的時候往往會考慮對不同的層採用不一樣的優化器以及學習率，以下爲其中一個案例 import tensorflow as tf from zh.model.mnist.mlp import M
2020-02-21 10:25:39
原创 L1正則L2正則的公式是什麼？他們各自的特點是什麼（適用場景）？
解釋：L1正則由模型的參數的絕對值的和構成，L2範數由模型的參數的平方和構成。 L1正則能夠有效的 1）降低模型的複雜度 2）做特徵選擇 這是由於當採用L1正則後模型中對於部分特徵的權重會置零。這樣可以有效的降低有依賴的特徵，起
2020-02-21 10:25:39