TensorFlow中embedding_lookup()函數的意義，查表中的矩陣如何得到

1.embedding_lookup()函數

調用參數

tf.nn.embedding_lookup(params, ids, partition_strategy='mod', name=None)

params參數：可以是一個二位矩陣，也可以是張量的列表，在這種情況下，ids表示多個張量的索引組合。例如，給定ids：[0, 3]，[1, 4]，[2, 5]，得到的張量都是[2, 64]的列表。

ids參數：按照ids從params中檢索對應的行。

partition_strategy參數：可以控制ids在列表中的分配方式。當矩陣可能太大而無法合爲一體時，分區策略對於較大規模的問題很有用，例如(假設您在tf.InteractiveSession()內)，將返回[10 20 30 40]，因爲params的第一個元素(索引0)是10，params的第二個元素(索引1)是20，依此類推。

params = tf.constant([10,20,30,40])
ids = tf.constant([0,1,2,3])
print tf.nn.embedding_lookup(params,ids).eval()

功能:實現將id特徵映射成一個低維稠密向量

embedding_lookup函數檢索params張量的行。該行爲類似於對numpy中的數組使用索引。例如：

matrix = np.random.random([1024, 64])  # 64-dimensional embeddings
ids = np.array([0, 5, 17, 33])
print matrix[ids]  # prints a matrix of shape [4, 64]

2.embedding_lookup()函數中的輸入矩陣如何得到？

embedding_lookup理論上就是用矩陣相乘實現的，就可以看成一個特殊的“全連接層”。

假設embedding權重矩陣是一個[vocab_size, embed_size]的稠密矩陣W，vocab_size是需要embed的所有item的個數（比如：所有詞的個數，所有商品的個數），embed_size是映射後的向量長度。

所謂embedding_lookup(W, id1)，可以想像成一個只在id1位爲1的[1, vocab_size]的one_hot向量，與[vocab_size, embed_size]的W矩陣相乘，結果是一個[1, embed_size]的向量，它就是id1對應的embedding向量，實際上就是W矩陣的第id1行。

以上過程只是前代，因爲W一般是隨機初始化的，是待優化的變量。因此，embedding_lookup除了要完成以上矩陣相乘的過程（實現成“抽取id對應的行”），還要完成自動求導，以實現對W的更新。

    def forward(self, X):
        """
        :param X: SparseInput
        :return: [batch_size, embed_size]
        """
        self._last_input = X

        # output: [batch_size, embed_size]
        output = np.zeros((X.n_total_examples, self._W.shape[1]))

        for example_idx, feat_id, feat_val in X.iterate_non_zeros():
            embedding = self._W[feat_id, :]
            output[example_idx, :] += embedding * feat_val

        return output

    def backward(self, prev_grads):
        """
        :param prev_grads: [batch_size, embed_size]
        :return: dw
        """
        dW = {}

        for example_idx, feat_id, feat_val in self._last_input.iterate_non_zeros():
            # [1,embed_size]
            grad_from_one_example = prev_grads[example_idx, :] * feat_val

            if feat_id in dW:
                dW[feat_id] += grad_from_one_example

            else:
                dW[feat_id] = grad_from_one_example

        return dW

參考：

1.https://www.zhihu.com/question/48107602?sort=created

2.github中embedinglayer的實現：https://github.com/stasi009/NumpyWDL/blob/master/embedding_layer.py

3.TensorFlow中文社區文檔：http://www.tensorfly.cn/tfdoc/api_docs/python/nn.html#embedding_lookup