原创 WGAN-div 重理論高度設計Lipschits約束
今天我們來談一下Wasserstein散度，簡稱“W散度”。注意，這跟Wasserstein距離（Wasserstein distance，簡稱“W距離”，又叫Wasserstein度量、Wasserstein metric）是不同的兩個
2020-07-01 17:30:39
原创 變分自編碼：P(Z|X)符合正態分佈、重參數技巧
分佈變換 # 通常我們會拿VAE跟GAN比較，的確，它們兩個的目標基本是一致的——希望構建一個從隱變量ZZ生成目標數據XX的模型，但是實現上有所不同。更準確地講，它們是假設了ZZ服從某些常見的分佈（比如正態分佈或均勻分佈），然後希望訓練一
2020-07-01 17:30:39
原创 基於圖的分詞方法
基於有向圖的中文分詞算法， 該算法首先構造中文分詞有向圖，然後計算中文分詞有向圖)所有可能的切分路徑，最後利用了最少分詞原則、漢字之間的互信 息和詞語的頻率等信息給中文分詞有向圖)的每條切分路徑打分,分數最高的路徑就對應正確的切分結果。
2020-07-01 17:30:39
原创 Spark2源碼閱讀——Rpc心跳（3）
一. Spark 心跳概述 前面兩節中介紹了 Spark RPC 的基本知識，以及深入剖析了 Spark RPC 中一些源碼的實現流程。 具體可以看這裏： Spark RPC 框架源碼分析（二）運行時序 Spark RPC 框架源碼分析（
2020-07-01 17:30:39
1
原创 單步訓練GAN技巧——把生成器和判別器loss合併成一個
我們知道普通的模型都是搭好架構，然後定義好loss，直接扔給優化器訓練就行了。但是GAN不一樣，一般來說它涉及有兩個不同的loss，這兩個loss需要交替優化。現在主流的方案是判別器和生成器都按照1:1的次數交替訓練（各訓練一次，必要時可
2020-07-01 17:30:39
原创 推薦系統的一些思考
對於推薦系統介紹的文章論文已經有不少，然後大家的關注點基本都是在具體一個點，較少看到有文章對推薦系統做比較全面且粒度比較細的描述文章。其實出現這樣的情況也不難理解，推薦系統稱之爲系統也就可以看到它是由多部分共同構成，要全面且較細粒度的去描
2020-07-01 17:30:39
1
原创 分佈式系統經典論文彙總
分佈式系統領域有着最令人費解的理論，全鏈路的不確定性堪比物理中的量子力學。同時，分佈式系統領域又有着當代最宏偉的計算機系統，Google、Facebook、亞馬遜遍佈全球的系統支撐着我們的信息生活。顯然，能夠征服分佈式系統的，都是理論和實
2020-07-01 17:30:39
原创 Spark2源碼閱讀——內存分配
Spark 作爲一個基於內存的分佈式計算引擎，其內存管理模塊在整個系統中扮演着非常重要的角色。理解 Spark 內存管理的基本原理，有助於更好地開發 Spark 應用程序和進行性能調優。本文旨在梳理出 Spark 內存管理的脈絡，拋磚引玉
2020-07-01 17:30:39
1
原创 搜索系統一些思考——答案分層次
搜索系統是互聯網應用的鼻祖，搜索、推薦、ctr、cvr都屬於排序類算法範疇。解決的問題就是在有比較多答案都和用戶要問的問題相關時候該怎麼對這些信息排序，排序就一定會面臨比較的基準是什麼。要定義基準那就一定會問目標是什麼，不同的目標下基準的
2020-03-21 19:23:53
原创 paxos框架簡介——從經典到演進
最近幾天一直在看分佈式一致性算法，paxos已經成爲這個領域的事實標準，所以肯定繞不過它。 那paxos到底是什麼，是一個具體算法還是一個協議框架。個人認爲應該是一個解決分佈式一致性問題的框架，後期的大部分工作都是在這個框架思路上做的優化
2020-03-07 19:08:59
原创 排序算法（Learn to rank）的一些看法
回來自我隔離期，出不了小區加上倒春寒陰天；瘋與快瘋之間，重讀了微軟研究院Learn to Rank幾篇經典論文，參考的看了CSDN上不少博主的觀點。總覺得對於文章，有些思路上的點沒有點透；嘗試從排序更根本思路去講解排序類算法爲何如此、以及
2020-03-03 03:45:47
原创 從集羣資源管理和任務調度角度看spark
講spark的文章很多，切入點無非就是三個：框架應用、源碼和原理講解、性能優化 個人覺得上面的三個視角切入點都過於偏重細節，比較適合行業工程師（應用開發、研發、維護）；對於初入行的學習者和非工程師角色比較不友好，本文嘗試從一個更高視角去介
2020-02-22 17:41:51
原创 圖嵌入模型綜述
最近在學習Embedding相關的知識的時候看到了一篇關於圖嵌入的綜述，覺得寫的不錯便把文章中的一部分翻譯了出來。因自身水平有限，文中難免存在一些紕漏，歡迎發現的知友在評論區中指正。 目錄 一、圖嵌入概述 二、圖嵌入的挑戰 三、圖嵌入的方
2020-02-22 17:41:51
原创 Spark2源碼閱讀——Rpc（2）
一. Spark RPC 概述概述 上一篇我們已經說明了 Spark RPC 框架的一個簡單例子，以及一些基本概念的說明。這一篇我們主要講述其運行時序，從而揭露 Spark RPC 框架的運行原理。我們將分爲兩部分，分別從服務端和客戶端來
2020-02-22 17:41:51
原创 細講xlnet
論文地址：https://arxiv.org/pdf/1906.08237.pdf 預訓練模型及代碼地址：https://github.com/zihangdai/xlnet 論文原理：（張俊林老師--講的比較透徹） XLNet:運行機
2020-02-22 17:41:51