原创 zookeeper理論基礎

zookeeper簡介 Zookeeper有雅虎研究院開發,後來捐贈給apache。zookeeper是一個開源的分佈式應用程序協調服務器,其爲分佈式系統提供一致性服務。其一致性是通過基於Paxos算法的ZAB協議完成的。 官網

原创 dubbo熔斷限流

限流 根據排隊理論,具有延遲的服務隨着請求量的不斷提升,其平均響應時間也會迅速提升,爲了保證服務的SLA(Service-Level Agreement 服務等級協議),有必要控制單位時間的請求量。這就是限流爲什麼愈發重要的原因

原创 java 獲取 項目內存使用情況 及線程數量

<%@page import="sun.management.ManagementFactoryHelper"%> <%@page import="com.sun.management.OperatingSystemMXBean"

原创 JVM內存結構-4.2jvm常見參數

JVM常見參數 標準參數:以-開頭的參數,所有的JVM都遵循。 非標準參數:以-X開頭的參數,各個JVM的實現都不相同,並且不保證向後兼容。 不穩定參數:以–XX開頭的參數,各個JVM的實現都不相同,並且不保證向後兼容,甚至隨時

原创 zookeeper應用場景羅列

配置維護 命名服務 DNS服務 Master選舉 分佈式同步 集羣管理 分佈式鎖 分佈式隊列

原创 限流、熔斷降級概念

源自於同事楊三超 保障服務穩定的三大利器:緩存、限流、熔斷降級。 1、限流 1.1 爲什麼需要限流 對外的API服務 用戶增長過快 因爲某個熱點事件(微博熱搜) 競爭對象爬蟲 惡意的刷單 開學季(可預知)        

原创 dubbo做服務器端main啓動方法

java代碼 public class AppRun{ public void main(String[] args){ Main.main(args); } } 配置文件目錄結構 /resources/META-INF

原创 JVM內存結構-1.1虛擬機的發展歷史

JAVA及其虛擬機的發展歷史 - JVM概念 JVM是Java Virtual Machine(Java虛擬機)的縮寫,JVM是一種用於計算設備的規範,它是一個虛構出來的計算機,是通過在實際的計算機上仿真模擬各種計算機功能來實現的

原创 dubbo服務降級限流

服務降級 解決高併發的三把利器:降級、限流、緩存。 服務降級基礎 什麼是服務降級 服務降級,當服務器壓力劇增情況下,根據當前業務的情況及流量對一些服務有策略地降低服務級別,以釋放服務器資源,保證核心人物的正常運行。 服務降

原创 協調過濾

實現協同過濾,需要的步驟 收集好用戶偏好,如評分 找到相似的用戶和物品 計算推薦 用戶物品聯繫圖 相似的計算,通過距離 幾種距離計算 歐幾里得距離 皮爾遜相關係數 cosine相似的 皮爾遜距離 協方差 皮爾遜相關

原创 隱語義模型 VS 協同過濾

隱語義模型 從數據出發,進行個性化推薦 用戶和數據之間有着隱含的聯繫 隱含因子讓計算機能理解就好 將用戶和物品通過中介隱含因子聯繫起來 分解-組合 F隱藏因子 隱語義模型求解 梯度下降方向 迭代求解 隱語義模型負樣

原创 推薦系統評估標準

評估標準 準確度 召回率 覆蓋率 多樣性

原创 文章相似度

文章: 頻道id、關鍵詞、主題詞 實現工具: spark Tfidf 計算 spark TextRank 計算 離線文章畫像組成需求 文章畫像,就是給每篇文章定義一些詞。主題詞和關鍵詞最大的區別就是主題詞經過了規範化處理

原创 推薦系統雜說

推薦方法 基於規則的推薦 基於傳統機器學習的推薦 基於深度學習的推薦 推薦模型 規則模型:規則定義,簡單的算術公式 機器學習模型訓練:數據訓練後的算術公式 機器學習模型預測:待預測數據經過訓練模型算術公式後的結果 模型評價