word2vec 數學原理

word2vec 是 Google 於 2013 年推出的一個用於獲取詞向量的開源工具包。我們在項目中多次使用到它，但囿於時間關係，一直沒仔細探究其背後的原理。

網絡上 《word2vec 中的數學原理詳解》 有一系列的博文，對這個問題已經做了很好的闡述。作者十分用心，從最基礎的預備知識、背景知識講起，這樣讀者就不用到處找相關資料了。

這裏，我就把其博文鏈接直接搬運過來：

（一）目錄和前言

（二）預備知識

（三）背景知識

（四）基於 Hierarchical Softmax 的模型

（五）基於 Negative Sampling 的模型

（六）若干源碼細節

這個系列博文裏的一些數學推導來自下面這篇文章，

word2vec Parameter Learning Explained

這篇文章的作者還提供了一個非常直觀的可視化工具，可以直觀地看到每一步的訓練到底發生了什麼

wevi: word embedding visual inspector

原版的 word2vec 項目鏈接在此

https://code.google.com/archive/p/word2vec/

【原文鏈接】http://www.ipaomi.com/2017/09/22/word2vec-數學原理/