原创 jvm常用配置
java -Xmx3800m -Xms3800m -Xmn2g -Xss128k -XX:+UseParallelGC -XX:ParallelGCThreads=20 -XX:SurvivorRatio -XX:NewRat
2020-06-29 18:29:21
原创 億級 Web 系統搭建：單機到分佈式集羣
本文內容 Web 負載均衡 HTTP 重定向 反向代理 IP 負載均衡 DNS 負載均衡 Web 系統緩存機制的建立和優化 MySQL 數據庫內部緩存 搭建多臺 MySQL 數據庫 MySQL 數據庫機器之間的數據同步 在 Web
2020-06-29 18:29:21
原创 mysql profile及其對應表使用
--mysql的profile可用於查看一個sql的具體消耗 show profile all for query 1\G; --profiling has a default value of 0 (OFF) mysql> SELE
2020-06-29 18:29:11
2
原创 GC之7大垃圾收集器詳解（上）
GC之7大垃圾收集器詳解 目錄 GC之7大垃圾收集器概述 GC之Serial收集器 GC之ParNew收集器 GC之Parallel收集器 GC之ParallelOld收集器 GC之CMS收集器 GC之SerialOld收集器 GC之如何
2020-06-29 18:29:11
原创 同步異步中的一致性
簡述一致性中關於同步與異步環境下的共識理論 （##轉載請註明） 共識問題：可稱作協作，所有正確的進程對提議的值達成一致。分佈式系統中，節點之間通過通信，對請求達成一致的定序。 問題定義：進程Pi處於未決狀態（undecideed）
2020-06-29 18:29:10
原创 分佈式鎖機制，通俗易懂
大多數互聯網系統都是分佈式部署的，分佈式部署確實能帶來性能和效率上的提升，但爲此，我們就需要多解決一個分佈式環境下，數據一致性的問題。 當某個資源在多系統之間，具有共享性的時候，爲了保證大家訪問這個資源數據是一致的，那麼就必須要求在同一時
2020-06-29 18:29:10
原创 頻繁GC (Allocation Failure)及young gc時間過長分析
序 本文主要分析一個頻繁GC (Allocation Failure)及young gc時間過長的case。 症狀 gc throughput percent逐步下降，從一般的99.96%逐步下降，跌破99%，進入98%，最低點能到94%
2020-06-29 18:29:10
原创 Hive數據傾斜解決方法總結
數據傾斜是進行大數據計算時最經常遇到的問題之一。當我們在執行HiveQL或者運行MapReduce作業時候，如果遇到一直卡在map100%,reduce99%一般就是遇到了數據傾斜的問題。數據傾斜其實是進行分佈式計算的時候，某些節點的計算
2020-06-29 18:29:10
原创 GC之7大垃圾收集器詳解(下)
GC之7大垃圾收集器詳解 目錄 GC之CMS收集器 GC之SerialOld收集器 GC之如何選擇垃圾收集器 GC之G1收集器 第一部分請參見： GC之7大垃圾收集器詳解（上） 6. GC之CMS收集器 CMS收集器(Concurrent
2020-06-29 18:29:10
原创 Java8 LocalDateTime獲取時間戳（毫秒/秒）、LocalDateTime與String互轉、Date與LocalDateTime互轉
本文目前提供：LocalDateTime獲取時間戳（毫秒/秒）、LocalDateTime與String互轉、Date與LocalDateTime互轉 文中都使用的時區都是東8區，也就是北京時間。這是爲了防止服務器設置時區錯誤時導致時
2020-06-29 18:29:10
原创 Yarn 使用 Cgroup 實現任務資源限制
Linux CGroup 全稱是 Linux Control Group，是 Linux 內核提供的一個用來限制進程資源使用的功能，支持如 CPU, 內存，磁盤 IO 等資源的使用限制。用戶可以使用 CGroup 對單個進程或者一組進程進
2020-05-20 20:03:29
原创 mongodb集羣架構
一、概述 分片是一種在多臺機器上分配數據的方法。MongoDB使用分片來支持具有非常大的數據集和高吞吐量操作。有兩種解決系統增長的方法：垂直擴展和水平擴展。 垂直擴展涉及增加單個服務器的容量，例如使用更強大的CPU，增加更多RAM或增加存
2020-03-09 22:30:53
原创 HiveQL常用查詢函數——nvl、case when、concat、collect_set、collect_list、explode & lateral view、窗口函數、rank
目錄 1. nvl（value，default_value） 2. case when eg1：對錶emp_sex，求每個部門男女人數 eg2：統計每個國家隸屬洲的人口數（已知字段數據按照另一種條件分組） eg3：統計不同國家
2020-03-09 16:56:20
原创 hive中的拼接函數contact,concat_ws,collect_set()及explode()，lateral view函數
hive工作中用到的一些拼接函數。 一， concat(string s1, string s2, string s3) 這個函數能夠把字符串類型的數據連接起來，連接的某個元素可以是列值。 如 concat( aa, ‘:’, bb) 就
2020-03-09 16:56:20
3
原创 Springcloud實戰遇到的問題及解決方式
1.Feign與hystrix使用不會看到錯誤信息，需要先屏蔽。 2.springcloud之Feign、hystrix、ribbon設置超時時間和重試機制（微服務）。 3.feign調用遠程服務，併發數量達到一定時會出直接觸發hystr
2020-03-07 21:15:02