原创 理解詞嵌入WordEmbedding

1. 引入 詞嵌入,英文爲 Word Embedding,這是語言表示的一種方式。它可以讓算法理解一些類似的詞。 2. 詞表示:one-hot 我們可以用one-hot向量來表示詞,如下圖所示。 這種表示方式,我們需要首先獲取一

原创 用surprise實現SVD協同過濾推薦算法對本地數據做推薦

引入 surprise是Simple Python Recommendation System Engine的縮寫,是一個爲了實現推薦系統的框架。它自帶了SVD,user-based,item-based協同過濾算法等多種推薦算法

原创 RNN中的門控循環單元GRU

1. RNN隱層單元結構可視化 下面是一個基本的RNN隱層單元結構: 其中,a是上一個時刻的激活函數輸出值,x是當前時刻的輸入,y是當前時刻的輸出。 要理解這個單元結構,需要注意2點: a與x結合,通過激活函數的作用後,有兩個

原创 淺析Attention機制

引入 Attention機制目前在深度學習領域應用的越來越多了,在CV和NLP領域都有大量應用。使用keras的Attention模塊,可以說是能隨意爲深度學習模型插上Attention的翅膀了。 那Attention機制的基本原

原创 kaldi的編譯安裝與報錯解決方法

引入 kaldi是語音識別領域,最常用的一個工具。 它自帶了很多特徵提取模塊,能提取MFCC/ivector/xvector等語音特徵;也自帶了很多語音模型代碼,可以直接使用或重新訓練GMM-HMM等模型;它還支持GPU進行訓練。

原创 java源代碼轉jar包

引入 jar文件具有跨平臺、數據壓縮、多文件封裝的優點,所以我們常將java源程序和其他的文件(比如資源文件、簽名)打包到一起,變成jar包。這樣對java程序的部署會更方便,也更安全。 用IDEA等IDE,可以直接將java文件

原创 RNN中的梯度消失與梯度爆炸

1. 引入 我們可以在[1]中,看到RNN的結構,如下圖所示。 假設我們輸入兩個句子如下: The cat, which already xxx yyy zzz …, was full. The cats, which alr

原创 序列模型用途介紹及數學符號

1. 序列模型用途 之所以要用到序列模型,是因爲,在現實生活中,我們的很多數據都具有連續的關係,比如 語音識別:根據音頻數據,識別爲語言文本 音樂生成:給定0個或某幾個音節,自動生成歌曲 情感分析:根據一段文本,來判

原创 多個列表中的元素做組合的邏輯與python實現

引入 本文組合邏輯的講解,與代碼,都是基於python的。 我們在實際編程中,會遇到多個元素做組合的過程,比如,給定如下4個列表 list1 = ['A', 'B'] list2 = ['C', 'D'] list3 = ['E'

原创 雙向RNN原理

1. 引入 我們之前已經瞭解了RNN中的GRU[2]和LSTM[3]。 怎麼樣才能進一步優化RNN這樣的模型呢?就是使用雙向RNN,它能使得我們在序列的某點處,不僅獲取之前的信息,還能獲取將來的信息。 將來的信息是什麼意思呢?爲什

原创 詳解語言模型

1. 引入 語言模型是兩種系統的基礎 語音識別系統 機器翻譯系統 所謂語言模型,能夠告訴你,某個特定的句子(序列),出現的概率是多少。 舉個例子,假設一個人說了一句話,這句話可能是如下兩種文本中的一種 The apple a

原创 詳解python中的*args與**kwargs的用法

引入 用itertools做多個item的組合問題,使用方式如下 import itertools all_list = [['A', 'B'], ['C', 'D'], ['E','F']] list(itertools.pro

原创 APK反編譯後插入調試代碼動態運行

1. 引入 當我們拿到一個APK,沒有源代碼,該怎麼樣去研究APK的核心邏輯呢? 限於運行環境的複雜,我們會首先使用靜態分析的方式,大概可以想出這樣一些靜態分析APK的方法: 用apktool直接將APK轉換爲smali程序,

原创 將java文件轉換爲DEX並在Android真機運行

引入 DEX文件在Android中很重要,它與APK瘦身、熱修復、插件化、應用加固、逆向工程、64K方法數限制都有關係[1]。 所以,我們先來認識一下本文的主角,DEX文件。 Dalvik虛擬機在Android中的作用,與JVM在

原创 RNN的5種典型結構

引入 我已經在文章[1]中介紹了一些序列模型的應用,比如“中文翻譯爲英文”,“NER命名實體識別”,“歌詞生成”,“情緒識別”。 也在文章[2]中介紹了RNN結構的基本原理。 那問題來了,要實現“中譯英”和“歌詞生成”,我們選用的