即使是最好的文本解析推薦算法也會受到一定大小的數據集的阻礙。爲了提供比大多數現有方法更快，更好的分類性能，MIT-IBM Watson AI 實驗室和 MIT 的 Geometric Data Processing Group 的團隊設計了一種結合了嵌入式和最優傳輸等流行人工智能工具的技術。
他們認爲，這個方法只需要考慮一個人的歷史偏好，或一羣人的偏好，就可以覆蓋數百萬的可能性。
這項研究的主要作者、麻省理工學院的助理教授 Justin Solomon 在一份聲明中表示，互聯網上有大量文字，任何有助於貫穿這些材料的東西都是非常有用的。
爲此， Justin Solomon 和他的同事使用算法將文本集合歸納成基於集合中常用單詞的主題。緊接着，它將每個文本分成 5 到 15 個最重要的主題，並通過排名顯示每個主題對整個文本的重要性。
另外，嵌入（雷鋒網按，在這種情況下爲單詞的數據表示形式）有助於使單詞之間的相似性顯而易見，而最佳傳輸則有助於計算在多個目的地之間移動對象（或數據點）的最有效方式。同時，嵌入能夠讓“利用兩次最優傳輸”成爲可能：首先是比較集合中的主題，然後度量公共主題重疊的程度。
研究人員稱，這種方法在掃描大量書籍和文件時尤其有效。在 Gutenberg Project 數據集中的 1720 個標題的評估工作中，該算法成功地在一秒鐘內比較完所有標題，比第二名快了近 800 倍。
此外，與其他方法相比，該算法在分類文檔方面做得更好。例如，按作者對古騰堡數據集中的書籍進行分組；或是按部門對亞馬遜上的產品評論進行分組。同時，該算法還提供了主題列表，能夠向用戶解釋推薦給定文檔的原因，便於用戶理解。
不過，研究人員並未滿足於現有的技術水平。他們還將繼續開發一種端到端的培訓技術，這種技術可以聯合優化嵌入、主題模型和最優傳輸，而不是像當前實現那樣單獨優化。在應用方面，他們還希望將他們的方法應用於更大的數據集，並研究圖像或三維數據建模的應用。
在論文總結工作報告中， Justin Solomon 表示，（我們的算法）捕捉差異的方式似乎與讓一個人比較兩個文檔的方式相同：先將每個文檔分解成容易理解的概念，然後比較概念······
對於更近一步的想法，Justin Solomon 說道：
讓單詞嵌入提供全局語義語言信息，主題模型提供特定於語料庫的主題和主題分佈。從經驗上看，這些因素結合在一起，可以在各種基於度量的任務中提供優異的性能。
【 頭圖來源：venturebeat 所有者：venturebeat 】
本文轉自雷鋒網，如需轉載請至雷鋒網官網申請授權。