原创 spark分佈式的相關學習筆記
driver完成所有任務的調度和executor與cluster之間的協調。 分爲client和cluster模式。client模式是指driver在任務提交的機器上運行，cluster模式是指隨機選擇一臺機器執行。 job是指腳
2020-06-24 03:01:17
原创 spark中數據在python中的使用
這裏寫自定義目錄標題合併文件亂碼問題saveTextFile的壓縮問題python只能讀本地文件 最近遇到了要把spark中的數據拿到python中進行再處理的過程。 常規操作是df.write.format(“csv”).mod
2020-06-24 03:01:17
原创 normalization思考
batch normalization與layer normalization batch normalization是對列進行歸一化，在每個特徵上進行縮放，爲了解決量綱不同的問題（蘊含了大數定律的思想，當樣本量足夠的時候，樣本
2020-06-24 03:01:17
原创 spark中monotonically_increasing_id的坑
日常工作中因爲獲取到的交互矩陣中user是string的，所以需要轉換成long或int的unique id。本來以爲發現了一個非常好用的函數monotonically_increasing_id，再join回來就行了，直接可以實
2020-06-24 03:01:17
原创 《Real-time Personalization using Embeddings for Search Ranking at Airbnb》學習筆記
2018年KDD的best paper讀書筆記0.寫在開篇的嘮嘮叨叨1.背景介紹1.1 場景1.2 論文內容2.listing embedding2.1 概述2.2 數據處理2.2 層層遞進的構造listing embedding
2020-06-11 02:30:04
原创 使用3to2將python3的腳本轉換成python2的腳本
1、pip install 3to2； 2、找到文件“3to2”，這個時候是沒有後綴的。我的是在“XXX\anaconda\Scripts”下面； 3、定位到自己的"3to2"文件，然後這個文件所在的路徑下打開cmd； 4、鍵入
2020-06-11 02:30:04
原创 公司服務器上從源碼編譯MKL集成的tensorflow
網上相應的記錄很多，但因爲是在公司服務器上進行，需要注意代理的配置，而且是在docker中進行的，因此這裏寫一下算是工作記錄了。 需要提前注意的事項： bazel與tf版本之間的適配性 可以是 tensorflow/conf
2020-05-02 17:34:30
原创 Batch Normalization和激活函數的使用順序
問題：如題 結論：先用Batch Normalization 再用激活函數 例子： net = tf.layers.dense(input, units=unit, activation=None, kernel_initiali
2020-02-24 11:09:29
原创 關於cross-domain recommendation的論文閱讀筆記
閱讀筆記，持續更新… 1、只用到了rating matrix進行建模 《DARec: Deep DomainAdaptation for Cross-Domain Recommendation via Transferring R
2019-08-23 06:09:26
11
原创 小白實習的gitlab使用筆記
創建新項目 1、在gitlab上創建項目 右上角有一個 new project 2、填寫常規消息 按照你的項目名等等完成這些基礎信息的填寫 3、完成本地和遠程倉庫的鏈接、上傳等等 這是創建新的項目成功之後網頁上的一些提示的操
2019-06-11 15:21:45
1
原创 關於EE的multi-arm-bandit學習記錄
最近遇到了EE的相關任務，先記錄一下最基礎的一些概念，慢慢擴充、填坑… 文章目錄多臂老虎機 multi-arm-banditThompson samplingbeta分佈貪心算法 greedy Algorithmε-greedy al
2019-03-26 06:29:14
原创 hive語句中的日常筆記
1、列轉行 需要解決的場景：某一列變量類型爲字符串，現在需要將這這一列字符串的內容進行操作，並且將操作之後的結果生成新的列 SELECT newcon_name FROM table_name LATERAL VIEW EXPLODE
2019-01-25 17:35:27
原创 不懂JAVA，但是要用spark執行任務的小白踩過的坑
不懂JAVA，但是要用spark執行任務的小白踩過的坑 不斷記錄自己在用spark-submit執行任務的過程中遇到的問題吧。 持續更新中 driver節點內存不足 Java HotSpot(TM) 64-Bit Server VM
2018-10-27 02:25:42
3
原创 session-based recommendation有關的論文閱讀記錄
最近要做關於session-based recommendation有關的東西，看了一些論文，寫一點閱讀筆記記錄一下。 督促自己快看快看！！！ 用來進行session-based recommendation的算法可以如下分類： 不
2018-10-27 02:25:42
原创 “1秒”擁有大師的筆觸/讓世界大師們的風格“重生”——《A Neural Algorithm of Artistic Style》讀後感
最近看了Leon A. Gatys、Alexander S. Ecker、Matthias Bethge三人合力撰寫的《A Neural Algorithm of Artistic Style》，根據自己的
2018-09-05 06:23:52