原创 強化學習（Reinforcement Learning, RL）
強化學習（Reinforcement Learning, RL），又稱再勵學習、評價學習或增強學習。描述和解決智能體（agent）在與環境的交互過程中通過學習策略以達成回報最大化或實現特定目標的問題 。 強化學習的常見模型是標準的馬爾科夫
2020-06-29 12:58:57
原创 神經網絡 梯度消失 梯度彌散 網絡欠擬合 過擬合
梯度消失，沒法反向傳播了，網絡就無法訓練了。 原因，激活函數的飽和區間,常用的有飽和區間的激活函數，sigmoid，tanh,softmax, 所以中間層儘量不適用這種激活函數，使用Relu系列的解決； 奇異樣本引起, 可以使用標準化（零
2020-06-29 12:58:57
3
原创 java 虛擬機 對於類的裝載順序
1. 自上而下 2. 先屬性後方法（局部變量要先聲明纔可以用） 3. 先靜態後動態（無論類有沒有初始化，靜態塊都會在classloader執行完成後加載、分配內存，因爲java規定靜態屬性和方法都可以直接用類名訪問，如果不先將靜態的加載完
2020-06-29 12:58:57
原创 搞懂BIO NIO AIO的原理區別
BIO（blocking io）和NIO(non-blocking io) 從同（異）步和阻塞兩個維度來區分 同步和異步針對的是，關心的是事件通知的方式。 比如， 你關注某個明星， 想知道他最近的行程。 同步：你自己一直去盯着看
2020-06-29 12:58:57
原创 卷積設計
神經網絡的深度決定什麼？ （提取特徵的能力，提取特徵的抽象程度，他是由於反向的梯度更新決定的，權重更新次數和網絡的層數是有關的） 每層神經元的個數決定的是（該網絡的非線性能力） 網絡設計深更利於特徵提取，但是會有梯度消失（反向時每層神
2020-06-29 12:58:57
原创 人工智能 神經網絡 激活函數
激活函數，提供非線性能力。 1. softmax： 多分類，他有互斥性，是概率問題。 當分類爲2的時候，會退化成sigmod. 2. SIGMOD函數，二分類將數據壓縮到0-1之間， 橫軸0點對稱，以用來做二分類，有飽和區
2020-06-29 12:58:57
2
原创 var.detach().numpy() instead. pytorch Tensor 轉 numpy 報錯
exec(compile(contents+"\n", file, 'exec'), glob, loc) File "F:/GPAI/secondTimes/CatchYou/Train.py", line 49, in <
2020-04-16 18:07:49
2
原创 如何將一個神經網絡當卷積核來用
可以使用多個小的卷積核，來代替一個大卷積核，而且更加偏向於多個小卷積組成一個網絡，來代替一個大卷積核。 如處理一個5*5的圖片，我們可以直接用一層5*5的卷積核來處理一次得到1*1的特徵圖，也可以用多層網絡（小卷積）來代，用兩層3*3來替
2020-04-16 18:07:39
原创 自編碼與變分自編碼
神經網絡的本質是信息壓縮特徵提取，神經網絡公式h = w * x , 做內積，所以神經網絡是個相關性判斷 研究AI頂級公司研究損失。 無監督學習是在沒有數據標籤的情況下，尋找數據特徵。 但是無監督學習的標籤是自身，自監督學習，是無監督學習
2020-03-28 04:53:22
原创 pytorch學習 殘差
殘差能很好的解決網絡梯度彌散的問題。 將網絡假設成水管的話，網絡層表示爲閥門，越往後水管的水量越小，加入殘差後，可以理解爲，將水管並行，保證每個閥門都能有足夠多的水量。 殘差實際上是做加法，加入以圖像爲例， pytorch輸入圖片是
2020-03-19 12:45:23
原创 網絡歸一化 入門
整個網絡都要做最大歸一化，有均值歸一化，最大值歸一化，首先要在輸入數據上的歸一化，對網絡內部數據也要歸一化 15年之前手動調參做歸一化，手動調參除了慢，還很難做出深層的網絡，網絡層深要調的參越多。批歸一化batchnormal（BN）
2020-03-18 02:57:01
原创 網絡如何學習的
神經網絡就是個概率，萬事無絕對。 數據信息瓶頸結構，是信息有多到少，然後由少變多 處理一個視別時，並不是需要所有的數據，而是一個信息提取過程，特徵提取過程要留下的必須是需要的特徵，是能解決當前面臨問題的特徵，網絡如何保證留下的數據是有用的
2020-03-16 18:05:42
原创 經典網絡設計
殘差網絡resNet (Bottleneck版本) 1*1卷積：用1*1的卷積對像素是沒幫助，但是可以快速的將通道融合，對通道進行縮放， 3*3卷積：快速進行像素的融合 1*1卷積：通道還原回去 (resnetXt版本) 1*1卷積：用1
2020-03-16 18:05:42
原创 全連接 CNN 基礎網絡總結
pytorch裏，無論哪種網絡，輸出都是一個Tensor張量。 網絡設計損失時，是label 和 out相減 輸出層常用的激活函數： SIGMOiD，二分類 softmax，多分類時，二分類時，退貨爲SIGMOD，二
2020-03-15 10:19:47
原创 基礎網絡 遞歸神經網絡RNN (recurrent neural networks) 處理時間序列的網絡
數據： 圖片（數據的載體） 文字的數據需要有順序能力，比如（我愛中國和中國愛我） 翻譯現在基於RNN 跟CNN一樣是權重共享的，狀態是有記憶的神經元是同一個，新數據會和上一次細胞的數據狀態想成序列，也就有了時間
2020-03-15 10:19:47