原创 Tensorflow小技巧整理:tf.multinomial()採樣

tf.multinomial() 做生成任務時,得到 decoder 最終的輸出之後,就需要決策選如何利用得到的輸出張量進行生成。tf.argmax()是最簡單最粗暴的一種方法,直接選取概率最大的詞彙作爲輸出。beam search

原创 Tensorflow小技巧整理:tf.trainable_variables(), tf.all_variables(), tf.global_variables()的使用

tf.trainable_variables(), tf.all_variables(), tf.global_variables()查看變量 在使用tensorflow搭建模型時,需要定義許多變量,例如一個映射層就需要權重與偏置。當

原创 有一個地方,叫做稻城

有一個地方,叫做稻城 我希望有個如你一般的人, 如山間清爽的風, 如古城溫暖的光。 從清晨到夜晚, 由山野到書房。 只要最後是你, 就好。 相信很多朋友初識稻城,和我一樣,都要歸功於《從你的全世界路過》中這首充滿文藝氣息的小詩。影片中

原创 談談對泛化誤差的理解

個人對泛化誤差的看法 泛化誤差與交叉驗證 誤差這個詞我們經常會遇到,在機器學習中,我們最終想要的結果實際上就是減小學習後的估計值和真實值的誤差。比如在迴歸中,我們的 loss function 就表示一個誤差。而我們需要做的,就是最小化這

原创 換個角度看回歸——極大似然估計

極大似然估計與迴歸 極大似然估計 先簡單說下似然(likelihood)和概率(probability)的區別,兩者都是對可能性的表示。概率是在給定了一定參數值後,表示了一件事物發生的可能性;而似然則反其道而行之,是在給定了一系列結果後,

原创 初始R語言——決策樹

初始R語言——決策樹 決策樹是機器學習裏很重要的分類算法, 網上也有很多博客進行細緻地講解,這裏就不再敘述原理,而是直接運用 R 語言的程序包來進行數據處理。 數據描述 本文使用的數據是對乳腺癌腫瘤良性還是惡性的分類,使用 Breast

原创 雙向RNN:bidirectional_dynamic_rnn()函數

雙向RNN:bidirectional_dynamic_rnn()函數 先說下爲什麼要使用到雙向RNN,在讀一篇文章的時候,上文提到的信息十分的重要,但這些信息是不足以捕捉文章信息的,下文隱含的信息同樣會對該時刻的語義產生影響。 舉一個不

原创 寫在入學第一日

初識首大 2017年8月28日,中國的傳統七夕節,在度過了一個忙碌而又充實的暑期實習後,終於還是到了再次和父母道別的日子。說來也是運氣有些不好,青島和首爾的天空這天都飄起了雨,悽風冷雨中多添了一些離別的愁緒。 只是這份愁緒實在維持不了太久

原创 Java 實現 Manacher 算法

Java 實現 Manacher 算法 在給定字符串的情況下,欲求最大的迴文子串的長度,該如何實現呢? 首先解釋一下什麼是迴文字符串,簡單理解就是從左向右讀和從右向左讀都會得到同樣的結果。 比如“32123”和“ababa”是迴文字符串

原创 老嫗能解PCA

大白話理解PCA算法原理 現在的計算機計算能力越來越大,我們需要處理的數據也日趨複雜。複雜主要體現在數據量越來越多,而每組數據的維數也越來越高。這就出現了一種新的問題——維數災難(Curse of Dimensionality)。人們開始

原创 tf.reverse_sequence()簡述

tf.reverse_sequence()簡述 在看bidirectional_dynamic_rnn()的源碼的時候,看到了代碼中有調用 reverse_sequence()這一方法,於是又回去看了下這個函數的用法,發現還是有點意思的。

原创 Tensorflow小技巧整理:tf.cond()的小應用

Tensorflow小技巧整理:tf.cond()的小應用 tf.cond() 方法 tf.cond() 的作用類似於平常所使用的 if…else… 語句,但是在 tensorflow 中,所有節點是用圖來保存的。而在圖中傳輸的這些 te

原创 Tensorflow小技巧整理:修改張量特定元素的值

Tensorflow小技巧整理:修改張量特定元素的值 最近在做一個摘要生成的項目,過程中遇到了很多小問題,從網上查閱了許多別人解決不同問題的方法,自己也在旁邊開了個jupyter notebook搞些小實驗,這裏總結一下遇到的一些問題。

原创 談談對CNN在NLP中可行性的理解

談談對CNN在NLP中可行性的理解 談到CNN,人們的直觀感受還是其在圖像處理領域取得的巨大成就,雖然近幾年越來越多的論文使用到CNN與RNN的模型來探索卷積網絡在自然語言處理中的應用,但始終還是無法取代CNN在圖像中的地位,或是RNN之

原创 初識R語言——PCA的實現

初識R語言 —— PCA的實現 回顧PCA 在之前的文章(老嫗能解PCA)中曾經寫過一些自己的PCA的看法,今天嘗試用R語言來進行PCA的實現。回顧一下什麼是PCA,總結來說就是基於對各個特徵之間相關性的分析,從而找到主要成分並選取一定個