原创 APM系統監控技術選型
APM技術選型對比 1.概覽 Pinpoint SkyWalking Zipkin（Spring cloud 整合） Jaeger 所屬公司/組織 韓國 Apache Twitter Uber 組件 col
2019-07-18 17:28:11
原创 Dapper，大規模分佈式系統的跟蹤系統
作者：Benjamin H. Sigelman, Luiz Andr´e Barroso, Mike Burrows, Pat Stephenson, Manoj Plakal, Donald Beaver, Saul Jaspa
2019-07-10 17:38:45
原创 MapReduce 生成HFile導入Hbase
版本： hadoop 2.7.7 hbase 2.0.5 步驟一：編寫Mapreduce 代碼生成HFile 基於Gradle 構建 build.gradle plugins { id 'java' } group 'c
2019-06-10 19:24:00
原创 5節點Hadoop,Hive,HBase HA 集羣搭建
節點規劃 host 節點進程 node1 namenode,datanode,HRegionServer,NodeManager,DFSZKFailoverController node2 secondaryname
2019-05-10 20:30:47
原创 maven推薦倉庫，ps 阿里雲倉庫是一坨*
最近在搭建hive dev環境遇到很多包down 不下來，阿里雲真是一點兒用都沒有。 從https://mvnrepository.com/repos/sonatype-releases扒了扒他們的倉庫地址，配置到maven 的setti
2019-05-06 14:28:47
原创 hive調優一
hive優化1 . join 優化2 . order by 和sort by3 . 同一份數據多種處理4 . 本地模式5 . 並行執行6 . 嚴格模式7 . 調整mapper 和 reducer 個數8 . JVM 重用9 . 索引1
2019-04-03 21:52:43
原创 周志華機器學習 西瓜書（PDF） 斯坦福大學機器/深度學習視頻 機器學習基石+技法 NLP
周志華機器學習+統計學習基礎PDF 鏈接: https://pan.baidu.com/s/1xIl6Zz1sd6F92EByNUCoCg 密碼: 5c47 林軒田機器學習基石&機器學習技法（帶字幕） 鏈接: https://pan.ba
2019-03-22 17:29:47
106
原创 ORC File 文件格式
一、ORC File文件結構 ORC 的全稱是（Optimied Row Columnar）,ORC文件格式是一種Hadoop生態圈中的列式存儲格式，它的產生在2013年初，最初產生自Apache Hive,用於降低Hadoop 數據存儲
2019-03-22 17:29:26
原创 雙親委派模型
從java 虛擬機角度來講，只存在倆種不同的類加載器：一種是啓動類加載器（Bootstrap ClassLoader）,這個類加載器使用C++語言實現，是虛擬機自身的一部分；另外一種是所有其他的類加載器，這些類加載器由java 語言實
2019-03-06 15:41:19
原创 java GC Roots的對象
虛擬機棧 （棧幀中本地變量）中引用的對象 方法區中類靜態屬性引用的對象 方法區中常量引用的對象 本地方法棧中JNI 引用的對象
2019-03-06 15:41:19
原创 CMS 垃圾回收器
CMS（Concurrent Mark Sweep）收集器是一種以獲取最短回收停頓時間爲目標的收集 器。目前很大一部分的Java應用集中在互聯網站或者B/S系統的服務端上，這類應用尤其重 視服務的響應速度，希望系統停頓時間最短，以給用
2019-03-06 15:41:19
1
原创 rabbitmq 集羣搭建
0. 緒論 最近項目在做mq的技術選型，最終確定採用rabbitMq。需要對rabbitMq進行基準測試，所以在服務器上劃出3個虛擬機節點。用這三臺虛擬機做基準測試。（ps 以下命令都是用root 用戶執行，如果不是root 用戶那麼
2019-02-21 18:20:30
原创 服務發現的基本原理與比較： Eureka,Consul,zookeeper
前言： 在雲計算和容器化技術發展火熱的當下，對於微服務架構，服務註冊於發下組件時必不可少的。在傳統的服務架構中，服務的規模處於運維人員可控範圍內。當部署服務的多個節點時，一般使用靜態配置信息設定。在微服務應用中，服務實例的數量和烏昂羅地址
2019-02-20 21:40:08
1
原创 ActiveMQ RabbitMQ Kafka 對比
1）TPS(事務數量/s)比較 Kafka 最高RabbitMq次之，ActiveMq 最差 2）吞吐量比較 Kafka 具有最高的吞吐量，內部採用消息批處理機制，zore-copy 機制，數據的存儲和獲取是本地磁盤的批量操作，具有O(1
2019-02-19 21:50:28