自然語言處理的應用

自然語言處理的應用

自然語言處理是人工智能和語言學領域的分支學科。對於自然語言處理我的理解是，把自然語言通過一些方法變成機器能理解的的高緯度數據。

自然語言處理有以下需要解決的問題，1.單詞邊界的界定 2.一詞多義 3.不規範的輸入。詞與詞之間通常是連貫的，不同的斷句會使句子有不同的語義，而且同一個單詞可能會有幾種不同的語義，再
加上不同地方口音不同會產生有歧義的輸入。都會使自然語言處理產生各種各樣的阻力。

自然語言處理通常運用在語音識別、機器翻譯、問答系統。深度學習中的LSTM循環神經網絡在處理時序數據有着優越的性能，因此在處理自然語音上有着卓越的表現。打個比方，一篇文章的想要表達的內容由文章當前的語句，前文的語句，以及下文的語句共同組成，而且對於文章的中心思想所貢獻的比例也是不同的。我們可以通過深度學習將這種比例關係學習出來，而LSTM循環神經網絡就是爲了處理自然語言問題而設計的。LSTM模型主要由三個門組成，即遺忘門、輸入門、和輸出門。遺忘門決定保留多少上一時刻的單元狀態到當前時刻的單元狀態；輸入門決定保留多少當前時刻的輸入到當前單元狀態；輸出門決定輸出多少當前時刻的單元狀態作爲下一刻的單元狀態輸入。