原创 深度學習筆記（32）：word2vec模型簡介
前因 與使用ASCII或者其他編碼方式編碼的字符能表達萬物，但是對於nlp來講，處理的最小單元是詞彙而不是字符。所以我們必須建立一個字典集合，將所有的出現的詞彙放到其中，然後將他們映射成onehot，但是這麼做的話，每個單詞的維度
2020-06-30 07:16:13
原创 深度學習筆記（20）：結構化機器學習項目的一般策略總結（2）
爲什麼是人的表現 爲什麼我們要把人的指標（準確度等）作爲機器學習準確度的標準，是因爲： 一方面，在很多領域，人的識別度是可以近似於貝葉斯誤差的，也就是所謂的誤差的最小值。所以我們實際上的bias判斷也並不是基於在train上的錯誤
2020-06-30 07:16:12
原创 深度學習筆記（34）：第五課第一週第一次作業
前言 本實驗實現了RNN和LSTM的正向傳播和反向傳播 RNN 實現一個cell # GRADED FUNCTION: rnn_cell_forward def rnn_cell_forward(xt, a_prev, para
2020-06-30 07:16:11
1
原创 深度學習筆記（21）：結構化機器學習項目的一般策略總結（3）
手工分析的必要性：誤差分析 比如我們在分類貓模型中，得到了error是10%。我們去查看了判斷錯誤的測試集，嘗試去優化，使得模型更加準確。我們發現，模型將一些長得像貓的狗的照片分類出來了。那麼問題就來了，我們應不應該爲此專門地去設
2020-06-30 07:16:10
原创 深度學習筆記（37）：第五課第二週第一次作業
前言 學習加載預訓練的詞向量，並使用餘弦相似度測量相似度（我們這裏沒有足夠的時間訓練，現階段直接加載就好） 使用單詞嵌入來解決單詞類比問題，例如“男人相對女人”，“國王相對____”。 修改詞嵌入以減少其性別偏見 代碼 # GR
2020-06-30 07:16:10
原创 深度學習筆記（6）：第一課第二週作業第二部分詳解與代碼
前言 筆者使用的是下面的平臺資源，歡迎大家也一起fork參與到深度學習的代碼實踐中來。鏈接如下 https://www.kesci.com/home/project/5dd23dbf00b0b900365ecef1 本章導讀 其實
2020-06-30 07:16:10
原创 算法設計與分析心得（1）：爲什麼0-1揹包問題最優解與貪心算法所得解的近似比不超過二
貪心解的選擇策略 我們定義貪心解的選擇策略如下： 首先，不失一般性，我們忽略掉所有單個體積大於揹包容積的物品，這些物品是一定不會被選中的。 再將所有物品按照單位價值由大到小排序，分別爲itemitemitem1,itemitemi
2020-06-30 07:16:09
原创 深度學習筆記（39）：第五課第三週第一次作業
帶注意力機制的機器翻譯 即我們要在實驗中實踐下圖 其中下面的圖片是對於上面的圖片注意力部分的展開，使用所有的encoder的隱藏層輸入和上一個s來得到這一次的context 代碼 代碼主要是keras都得現學挺噁心的 # GRA
2020-06-30 07:16:09
原创 軟件構造心得（13）：用流的淚說明爲什麼不要濫用unchecked異常
前言 最早最早，我不知道有exception這個東西，之後去博客上找一些不繫統的入門教程，在胎兒時接受了不正確的教育一樣，覺得exception那麼多，又不認識，怪亂七八糟的，反正在我代碼上亂加東西可不行。於是曾幾何時，我在我的代
2020-06-30 07:16:09
原创 自動機簡明教程：目錄和內容（完結）
前言 本系列內容主要針對於哈工大形式語言與自動機課程內容做一個方法論上補充。拓展一些證明，落實一些具體的方法，做一些歸納和整理，思維的昇華。 至於更加深入的東西，並沒有被課程當作重點，這裏我也就權當暫時不需要而不深入研究了。希望能
2020-06-30 07:16:09
原创 深度學習筆記（31）：LSTM一點簡要理解
前言 RNN提供了捕捉序列特性的一種方案，然而由於梯度爆炸或者梯度消失問題，對於句子中距離較長的詞彙，RNN由於訓練時反向傳播的修改從句子末尾到句子開始時已經變得很微弱，以至於難以建立較大的聯繫，因而RNN在捕捉中長距離句型關係時
2020-06-30 07:16:09
1
原创 算法設計與分析心得（2）：A*算法正確性證明
A*算法思想 分支界限法在找界限減去不可能的情況，最終搜索完所有可能的情況，在做減法；而A*意圖告訴我們什麼時候已經得到了最優解，在我們找的時候肯定我們的解。 當什麼時候A*算法正確？ 當所有可以拓展的點中，我們下一步要拓展的點就
2020-06-30 07:16:09
原创 深度學習筆記（38）：第五課第二週第二次作業
前言 實現一個如圖所示的句子情感判斷器，找出對應的emoji（np序列把我小坑一下） v1 # GRADED FUNCTION: sentence_to_avg def sentence_to_avg(sentence, wo
2020-06-30 07:16:09
原创 深度學習筆記（35）：第五課第一週第二次作業
前言 本次實驗使用了字母級的RNN文本生成系統，額外練習了採樣，梯度裁剪的方法。 代碼 梯度裁剪 ### GRADED FUNCTION: clip def clip(gradients, maxValue): '''
2020-06-30 07:16:09
原创 深度學習筆記（33）：從seq2seq到注意力模型
seq2seq 首先我們要明白，seq2seq是在讀入一個序列，生成一個序列。他的思想是encode和decode的思想，即先通過一組RNN進行編碼將語言喫進來產生一個整體的語義，然後再不斷通過剛剛產生的y值和解讀出來的語義再通過
2020-06-30 07:16:09
1