原创 bert 及 GPT
文章目錄簡述測評任務MNLIQQPQNLI模型結構position encodingpre-trainmasked LM tasknext sentence predict taskadditional pre-train改動模型
2020-06-26 20:37:24
原创 基於Bert的Vison-Language多模態網絡
多模態任務 VQA 用自然語言對給定圖片作相關提問. Image-text retrieval 圖像-文本 跨模態檢索,任務是根據語言描述,從候選中選定相關的圖片, 反之亦然, 即也可以給定圖片選文本.數據集如MSCOCO ,F
2020-06-26 20:37:13
原创 分類任務簡述及超大規模任務設計
多類別(class) Multiclass classification: classification task with more than two classes. Each sample can only be label
2020-06-26 20:37:13
原创 SR-GNN, 圖網絡召回
簡述 將用戶的session序列構建成有向圖,通過考慮item之間的轉移關係, 更好的學習item emb及用戶的向量表達. related work 一些流行的GNN演變. word2vec, DeepWalk, LINE, n
2020-06-26 20:37:13
原创 推薦系統常用評估指標
AUC&GAUC 多用於ctr任務. 同普通二分類問題的評價, 定義及實現見參考[1]. Recall 多用於召回任務. 描述 預測的topN, 與 用戶實際點擊的交集大小, 除以 實際點擊的集合大小. 公式 recall@N=
2020-06-10 13:24:28
1
原创 transformer 翻譯模型
google 出品, 基於 encoder-decoder 架構的 seq2seq 自然語言翻譯模型. paper 見參考[1]. 創新之處是棄用 RNN,CNN 這樣的結構, 採用 self-attention 與 positi
2020-06-10 13:24:28
原创 推薦系統中的矩陣分解(MF,FM,FFM)
MF 在推薦場景中, 我們可以把user對item的行爲, 用評分矩陣R∈R∣U∣×∣P∣R\in \mathbb R^{|U|\times|P|}R∈R∣U∣×∣P∣表示. U={user}U=\{user\}U={user},
2020-06-10 13:24:28
2
原创 常用損失函數及tf實現
文章目錄cross_entropy交叉熵與soft_max常結對出現二分類及多分類超大規模分類多標籤分類tf實現softmax_cross_entropysigmoid_cross_entropysampled_softmax_l
2020-06-10 13:24:28
原创 地理空間計算， geographical computation
GPS座標 國際慣用 （維度，經度）.degree 格式、 兩點間的距離計算 三方庫 from geopy import distance class gps: def __init__(self, latitude,
2020-05-24 08:10:20
原创 分類任務簡述
鳶尾花分類 多類別 Multiclass classification: classification task with more than two classes. Each sample can only be labell
2020-04-29 10:10:11
原创 RNN 中的 GRU
背景 GRU與LSTM效果相當但複雜度更低, 所以更多情況下它是首選. 結構 圖: GRU_Cell結構, 見參考[3] 圖. 截圖自參考[1]的論文章節 涉及到幾個gate: h 代表 GRU Cell 的 hidden
2020-04-27 01:48:10
原创 residual connection, 殘差鏈接
背景 更深的網絡理論上會有更強的表達能力, 但實際訓練中遇到的問題是層數加深後, 訓練集誤差不降反升. 圖: layer-20 與 layer-56 的比較, 後者訓練集誤差更大 residual-connection 標準實現
2020-03-29 01:00:48
原创 List-wise Ranking
背景 ranking is a prediction task on list of objects. 所以 point-wise, pair-wise 等方法的訓練任務與工作場景有差異, list-wise 理應更好. list
2020-03-10 00:08:22
原创 多模態機器學習,MMML
總述 多模態通常指 語音/文本/圖像 等不同形態的特徵. 同時，模態也可以有非常廣泛的定義，比如我們可以把兩種不同的語言當做是兩種模態. 很多人工智能的應用, 會同時涉及到多種模態的信息,所以它成了一個研究分支. 該分支下有以下幾
2020-02-22 09:15:24
原创 多模態,常用數據集
VQA Visual Question Answeing. 看圖並回答用自然語言表述的相關問題. 問題包括選擇題,數字題, 開放題. The goal of visual question answering (VQA) (Ant
2020-02-22 09:15:24