原创 xavier初始化的背後原理
一般來講，要保持方差不變,線性變換是正交變換是最好的。如果是正交變換，則要求每個濾波向量的長度爲1.可以證明以xavier初始化的方式，可以保證向量長度的期望爲1.
2020-06-12 21:04:36
原创 關於resnet的直覺性解釋
resnet爲什麼能夠這麼深，而性能不發生退化，確實是一件百思不得其解的現象。而最近我終於明白了裏面的深層次的原因。 根本原因是,不用殘差的模型本質上是在將feature在空間中線性變換，然後進行裁剪，如此可將不同的feature映射爲同
2020-06-12 21:04:36
原创 深度學習 權重初始化爲什麼要用正態分佈
一般來講權重矩陣是K個N維向量。從直覺上來講，如果這K個N維向量在N維空間中均勻分佈在以原點爲中心的N-1維單位超球面上，在隨機性上應該是最好的。因爲這樣，這K個向量的夾角爲均勻分佈。 此時問題變成了，如何在N-1維超球面上進行均勻採樣。
2019-06-13 19:31:20
原创 關於BN的理解
在中文資料裏面，現在有很多資料解釋BN.但是沒有一個能解釋清楚BN在卷積網絡中怎麼work的. 卷積網絡中間特徵層的shape爲[N,H,W,C].N,爲min-batch大小.H,W爲高度和寬度,C爲channel大小。 對於BN來說,
2019-06-11 06:03:15
原创 證明偶階羣必存在元素a,使得a^2=1
證明： 將元素1,a,a^(-1),b,b^(-1),..依次排列, 假如不存在a,使得a=a^(-1)，那麼這個羣必是奇階羣 （因爲，(bi,bi^(-1))構成二元組，再加上1，是奇階羣）所以存在a=a^(-1)， 所以存在a，a^(
2018-08-22 15:41:37
原创 自然語言處理複習彙總(南京大學)
自然語言處理複習彙總(南京大學) 標籤（空格分隔）： 自然語言處理 參考書籍:統計自然語言處理–宗成慶 該文檔用markdown編寫,github地址爲https://github.com/lyfadvance/nlp/blob/ma
2018-08-22 15:41:24
2
原创 計算機，總線,I/O端口，I/O接口，USB接口詳解
一般來講I/O端口就是一組寄存器，本質上跟內存一樣。所以計算機對I/O端口尋址，有兩種方式，一種是將內存尋址和I/O端口尋址整合在一起，即使用同一控制總線和數據總線。第二種是,I/O端口和內存複用數據總線，分別使用控制總線,分別尋址.關於
2018-08-22 15:40:59
原创 快速開始keras 教程
序貫模型 實現一個簡單的與門神經網絡。 這段代碼爲方便讀者理解如何處理多分類問題，將二分類問題也作爲多分類問題處理。 #coding:utf-8 from keras.models import Sequential from kera
2018-08-22 15:40:58
5
原创 高級算法題目，動態規劃解
標籤（空格分隔）： 高級算法,動態規劃 consider the following optimization problem. Instance: n positive integers x1<x2<⋯<xn . Find two
2018-08-22 15:40:58
1
原创 XX-net在ubuntu下的使用
主要解決三個問題: xx-net下載 在github上搜索xx-net即可 xx-net安裝 解壓到主目錄下的任意目錄 然後運行 sudo ./xx-net.sh 導入證書 此時會以root超級用戶身份運行火狐(firefox)彈出界
2018-08-22 15:40:58
3
原创 MIT 6.824 lab2 啓動流程以及raft算法實現
MIT 6.824 lab2 啓動流程－－多阻塞輸入驅動的狀態機模型設計－－raft算法實現 MIT 6824 lab2 啓動流程多阻塞輸入驅動的狀態機模型設計raft算法實現 make_config cfgstart1 rpc調用的
2018-08-22 15:40:57
56
原创 ubuntu17.04以及17.10安裝java7,jdk7,jre7
在/etc/apt/sources.list中添加如下語句 deb http://ppa.launchpad.net/openjdk-r/ppa/ubuntu xenial main 其中xenial爲ubuntu16.04的代號。 然後
2018-08-22 15:40:57
2
原创 TEXMACS在ubuntu下的使用
TEXMACS在ubuntu下的使用 1 編譯好的texmacs 從官網下載編譯好的texmacs,然後在linux下設置好環境變量後.運行texmacs,發現輸入中文後,texmacs顯示亂碼(會顯示一些奇怪的字符).如果打開工具欄的幫
2018-08-22 15:40:57
11
原创 texmacs 源碼安裝
TEXMACS在ubuntu下的使用 1 編譯好的texmacs 從官網下載編譯好的texmacs,然後在linux下設置好環境變量後.運行texmacs,發現輸入中文後,texmacs顯示亂碼(會顯示
2018-08-22 15:40:56
9