原创 中文分詞學習筆記

中文分詞簡介學習筆記 : 分詞是中文自然語言處理中非常核心的一個技術。分詞是句法分析、詞性標註、命名實體識別等自然語言處理技術的基礎。 規則分詞查詢速度快,不能處理未納入詞庫的新詞。 統計分詞能夠處理新詞,但是查詢速充相對規則分詞

原创 詞性標註與命名實體識別學習筆記

詞性標註學習筆記 : 識別詞性能幫助我們消除岐議爲分析句子的結構(主謂賓)打下基礎。 詞性標註分爲使用規則進行詞性標註,使用HMM進行詞性標註。 命名實體識別學習筆記 : 我看視頻但是對命名實體識別難點不太理解,諮詢老師,老師給

原创 句法分析學習筆記

句法分析能夠幫助我們更好的理解句子,說白了就是從語法的角度來理解句子的含義。 句法分析難點與方法學習筆記: 此張PPT主要就是說明了由於中文的特性,使得中文的句法分析成熟度不高,較於詞法分析的成熟度低。 此張PPT主要在說樹

原创 情感分析學習筆記

簡介最主要就是說情感分析在實際的應用場景中起到一個什麼作用。 詞法分析學習筆記: 詞法分析處理流程其實就是基於句子中正負情感的關鍵詞多少來判斷句子的情感立場。 詞法分析的關鍵點是情感詞典的建立與維護,缺點也是隨着情感詞典的變

原创 文本向量學習筆記

文本向量其實是文本的一個數字化表達,以利於計算機理解文本,文本向量表達文本的好壞就決定了計算能否準確文本的意思。 文本向量分爲詞向量,文檔向量,句向量。 文本向量算法學習筆記 : 詞袋模型:簡單的統計詞頻,不能表示句中的詞序,也無

原创 關鍵詞提取算法學習筆記

簡介中最爲重要就是說了有監督算法和無監督算法的區別,爲什麼有監督算法不適合於關鍵詞提取進行了特別說明。 TF-IDF學習筆記: 其實這張PPT核心就是底部這句話,過濾掉常見的詞語,保留得要的詞語。 TextRank學習筆記:

原创 圖像識別模型學習筆記 :

由於我想做的是人機對話產品,對這塊的知識我沒深入學習,只是按照視頻中把代碼跑通了,也沒去查具體API很多參數用法,我感覺視頻中只要簡要講了講如何把這些模型用起來,但是如何用的更好,解決實際工作問題,比如說用RESNET來識別蘋果,哪些蘋果

原创 過年無聊,邊學邊用Python

轉眼就年初三了,本來想好好玩一玩,年初一壯着膽子出去逛了下,發現電影院、公園、周邊景點全都關了,想看的奪冠等幾個賀歲片也都不上映了,窩在家裏看電視久了也覺得無聊,思來想去還是開始人機對話的學習可以多打發些這無聊時光,打開年前購買的

原创 手寫數字圖片識別筆記

理解手寫數字圖片Minst數據集的組成結構,即由測試集,驗證集、訓練集組成,可以說訓練神經網絡數據集的組成工作都是由這三部分組成的。 Minst數據集構成: 測試集:5000張圖片,每張圖片都是由784列數字組成。即在內存中表現的

原创 開發一個人機對話產品要多久

今天給領導彙報了人機對話技術的調研成果,領導問我如果我們使用後兩種模式的話,大概要多少人,多長的時間,當時就把我問住了,領導說這個數據你得給我呀,我就又開始在課程平臺上諮詢,半天下來,得到諮詢結果是一個完整的NLP即自然語言處理團

原创 深度神經網絡原理

本節主要講了深度神經網絡的原理,首先從手寫數字圖像識別的例子講起 看視頻我始終不理解W和B是怎麼來的,循環迭代訓練到什麼程度停止訓練呢? 帶着這個問題諮詢老師,**老師說W和B是根據X的數據情況來生成的,比如一張數字手寫圖片是2

原创 深度學習與傳統編程的區別

1月28號開始學習《TensorFlow實戰深度學習入門》,做如下學習筆記: 在學習第二節課深度學習與傳統編程的區別解開我困惑多時的問題,即深度學習比傳統編程究竟好在哪,如圖所示深度學習核心在於算法能夠通過數據訓練出模型後續業務規

原创 理解Tensorflow編程基礎

編程模型理解: 將張量數據即輸入的樣本和標籤通過placeholder加載到圖中,通過OP將Variable與張量進行組合,並放入到CPU或GPU中執行,最後執行完畢得到輸出。這些操作放到圖中要執行的話是需要通session來啓動

原创 全連接神經網絡(FCN)學習筆記(爲什麼過擬合)

多層神經網絡和激活函數前面章節已經講過了,我覺得有點重複,諮詢老師爲什麼要這樣做,老師說很多童鞋並不是能夠每天堅持學習,有很多童鞋一開始學習了幾天,就放下不學了,等到下次要再學時有可能是一個星期,兩個星期,甚至一個月,前面的東東有可能都忘

原创 報名NLP課程注意事項。

答應了老闆就開始找相關課程老師諮詢,這一諮詢下來才發現這個市場真亂呀,有大幾K甚至上W價格的課程,也有幾百的聊天機器人課程,我甚至看到有幾十元的深度學習視頻課程。大幾K、上W的課程主要是服務好,比如有助教及時批改作業,及時督促跟進