深度理解嵌入(embedding)層

  • embedding是一種專門用在NLP領域的單詞編碼技術,目的就是減少資源的浪費,或者調整感知野的大小。它用低維向量表示了編碼,這種編碼方式通過神經網絡優化可以表達出單詞間的關係。

  • 首先從one_hot開始:
    one_hot的優點:計算方便快捷、表達能力強。
    one_hot的缺點:過於稀疏,過於佔用資源,尤其是在數據量特別大時;數據之間完全獨立。
    在這裏插入圖片描述
    在這裏插入圖片描述
    在這裏插入圖片描述
    在這裏插入圖片描述
    在這裏插入圖片描述
    在這裏插入圖片描述
    在這裏插入圖片描述在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章