原创 模型獨立學習:多任務學習與遷移學習

導讀:機器學習的學習方式包括監督學習和無監督學習等。針對一個給定的任務,首先要準備一定規模的訓練數據,這些訓練數據需要和真實數據的分佈一致,然後設定一個目標函數和優化方法,在訓練數據上學習一個模型。此外,不同任務的模型往往都是從零開始來訓

原创 推薦系統 embedding 技術實踐總結

當前主流的推薦系統中,embedding 無處不在,從一定意義上可以說,把 embedding 做好了,整個推薦系統的一個關鍵難題就攻克了。因此,本文總結了移動騰訊網推薦系統中的 embedding 技術實踐,力圖達到娛人娛己的目的。 什

原创 一文直擊Graph Embedding圖表示學習的原理及應用

導讀:我們都知道在數據結構中,圖是一種基礎且常用的結構。現實世界中許多場景可以抽象爲一種圖結構,如社交網絡,交通網絡,電商網站中用戶與物品的關係等。 目前提到圖算法一般指: 經典數據結構與算法層面的:最小生成樹 (Prim,Kruska

原创 ubuntu16.04 安裝docker-ce,解決libltdl7版本過低的問題

遇到的問題: 按照docker官方安裝教程,執行到:sudo apt-get install docker-ce 安裝失敗,出現如下錯誤: The following packages have unmet dependencies:

原创 分佈式一致性算法-Paxos、Raft、ZAB、Gossip

爲什麼需要一致性 數據不能存在單個節點(主機)上,否則可能出現單點故障。 多個節點(主機)需要保證具有相同的數據。 一致性算法就是爲了解決上面兩個問題。 一致性算法的定義 一致性就是數據保持一致,在分佈式系統中,可以理解爲多個節點中數據的

原创 oCPC:計算廣告出價策略

“ 本文介紹了計算廣告中的基本概念以及oCPX廣告的優化目的,出價規則,可能面臨的問題和一些思考。” 作者介紹:劉達,現於騰訊任職研究員。從事計算廣告、內容推薦相關工作。【長期收簡歷,歡迎諮詢,微信:niumeng_ld】 幾年前在知乎上

原创 召回算法實踐總結

近兩年來,在移動騰訊網落地了許多召回算法,絕大多數對業務指標帶來了不小的提升,趁着假期閒宅無事,泡壺好茶,倚窗聽雨,順便做點總結。一方面希望得到大神們的指點,另一方面也希望幫助到剛好有需要的同學,如果能起到拋磚引玉的作用更是榮幸之至。 召

原创 kubernetes常用對象

1. Master 集羣的控制節點,負責整個集羣的管理和控制,kubernetes的所有的命令基本都是發給Master,由它來負責具體的執行過程。 1.1. Master的組件 kube-apiserver:資源增刪改查的入口 kube-

原创 kubernetes問題排查

1. 查看系統Event事件 kubectl describe pod <PodName> --namespace=<NAMESPACE> 該命令可以顯示Pod創建時的配置定義、狀態等信息和最近的Event事件,事件信息可用於排錯。例

原创 kubectl命令

kubectl的命令語法 kubectl [command] [TYPE] [NAME] [flags] 其中command,TYPE,NAME,和flags分別是: command: 指定要在一個或多個資源進行操作,例如creat

原创 掌握 Kafka

Apache Kafka 是一個快速、可擴展的、高吞吐的、可容錯的分佈式“發佈-訂閱”消息系統, 使用 Scala 與 Java 語言編寫,能夠將消息從一個端點傳遞到另一個端點。較之傳統的消息中間件(例如 ActiveMQ、RabbitM

原创 ZooKeeper總結

什麼是ZooKeeper? ZooKeeper 是一個開源的分佈式協調服務。它是一個爲分佈式應用提供一致性服務的軟件,分佈式應用程序可以基於 Zookeeper 實現諸如數據發佈/訂閱、負載均衡、命名服務、分佈式協調/通知、集羣管理、Ma

原创 ES億級數據檢索優化,三秒返回突破性能瓶頸

作者丨mikevictor 來源丨www.cnblogs.com/mikevictor07/p/10006553.html   一、前言   數據平臺已迭代了三個版本,從剛開始遇到很多常見的難題,到終於有片段時間整理一些已完善的文檔,在此

原创 因果推斷在阿里文娛用戶增長中的應用

導讀:如何實現產品的用戶增長?顯然,這是各家移動互聯網應用的頭等大事,也是懸在各家業務負責人頭上的"天問"。在移動互聯網進入下半場的大趨勢下,過去粗放式的買量、廠商合作等模式越來越會受到掣肘,將更加依賴精細化的用戶增長策略和產品用戶體驗的

原创 G1調優常用參數

-XX:MaxGCPauseMillis:暫停時間,默認值200ms。這是一個軟性目標,G1會盡量達成,如果達不成,會逐漸做自我調整。對於Young GC來說,會逐漸減少Eden區個數,減少Eden空間那麼Young GC的處理時間就會相