原创 ALS算法的基本思想
SparkALS算法基本思想 ALS算法是基於模型的推薦算法。起基本思想是對稀疏矩陣進行模型分解，評估出缺失項的值，以此來得到一個基本的訓練模型。然後依照此模型可以針對新的用戶和物品數據進行評估。ALS是採用交替的最小二乘法來算出
2020-06-27 04:25:52
原创 基於eclipse的spark開發環境搭建
1、下載spark安裝包，然後直接解壓即可。 2、配置環境變量 SPARK_HOME F:\spark-2.1.0-bin-hadoop2.6 Path追加F:\spark-2.1.0-bin-hadoop2.6\
2020-06-27 04:25:52
原创 Mahout基於用戶的協同過濾算法的例子
每行測試數據分別標識用戶id(uid),物品id(itemid),評分(rating),評分時間(time) 3464,2502,3,973282547 3464,3160,2,973282494 3464,2505,3,9
2020-06-27 04:25:52
原创 Mahout基於物品的協同過濾算法例子
每行測試數據分別標識用戶id(uid),物品id(itemid),評分(rating),評分時間(time) 464,2551,4,967174774 3464,1753,3,967247306 3464,144,5,96
2020-02-21 07:43:21
原创 基於ALS算法電影推薦(java版)
基於ALS算法的最佳電影推薦(java版) package spark; import java.util.Arrays; import java.util.List; import org.apache.log4j.Leve
2020-02-21 07:43:21
原创 Spark K-Means 算法例子
k-means算法是以空間的點距離爲基準，隨機或者按照一定規則選擇幾個中心點數據，計算每個點到該幾個中心點的距離，按照距離值最近歸爲一類的原則，把空間所有的點歸爲初始化的幾個中心，稱之爲中心簇。 然後，找到每個中心簇的中心，再次
2020-02-21 07:43:21
原创 spark LDA聚類算法的例子
LDA是狄利克雷分佈算法，一般用於海量文檔主題聚類。一般每個文檔都有一個隱藏的主題，LDA算法就是找出可能性最高的幾個主題。在找出主題的同時，也就找到了文檔中每個單詞在主題中的分佈概概率。可以參考http://blog.csdn.net/
2020-02-21 07:43:21
原创 Unsafe例子
java無法訪問操作系統底層API，諸如釋放內存、原子操作、線程的掛起以及獲取字段的內存地址等等。但是強大的java並非完全屏蔽了所有的入口，Unsafe類就可以提供上述功能的操作。下面例子只是簡單的獲取了Unsafe類，並實現了獲取字段
2020-02-21 07:43:21
原创 sparkALS算法例子
該例子援引的是http://files.grouplens.org/datasets/movielens/ 中ml-100k.zip的數據，可以直接下載下來保存到本地，修改代碼中的路徑即可。 package spark; imp
2020-02-21 07:43:21
原创 記一次生產上線的問題
昨天項目上線，在完成驗證之後，我深吸一口氣，完美上線，未出任何問題。然而半個小時之後，收到運維團隊發過來的告警，說是有一臺服務器的幾個端口未被探測到。當時聽說之後，我心中一緊，不對呀，我們服務器之後都觀察了系統日誌，交易一切
2019-08-28 18:14:55
原创 搶紅包問題隨想
前些天看了一篇文章，內容是講述分佈式鎖的，舉的例子是搶紅包的例子，大意是說10w人分1億紅包。其大致的思想是通過分佈式鎖來控制紅包的金額，每來一個請求就按照當前紅包剩餘金額分配額度，直至紅包剩餘金額爲0爲止。文章的鏈接地址如下：h
2019-08-06 17:49:03
原创 服務熔斷的設計與實現
一、背景 這些天我所負責的項目（某知名民營銀行的開放平臺）需要實現服務熔斷的功能。因該項目是直接購買第三方公司的產品，所以在接到該任務後，我第一時間找到該公司詢問是否有現成的產品和設計。無奈，現實很殘酷，該公司並沒有現成
2019-07-30 18:22:36
原创 作爲網關如何合理的估算線程池大小
作爲一名項目項目經理，在項目上線之後我們經常會遇到一些參數設置的問題，比如今天要討論的：如何合理的設置線程池大小。 線程池作爲應用的關鍵組成部分，是應用處理業務的關鍵角色，而線程池大小直接關係着應用的吞吐量、處理能
2019-07-30 18:22:35