原创 JVM參數列表
文章目錄1.說明2.JVM參數-XX:1.boolean類型的JVM參數2.非boolean類型-XX:的簡化形式如何知道所有參數JVM參數在哪裏設置常用JVM參數有哪些 1.說明 本文將對JVM常見調優作總結，包括JVM的參數及
2020-07-06 21:25:57
原创 併發截圖版
1.進程：操作系統分配資源（空間、文件、接口等）的基本單位 線程：CPU執行的基本單位。 2.1個cpu在一個時間點只執行一個線程。能執行多個線程是因爲線程切換（上下文切換） 3.ALU：計算使用 Registers：存儲
2020-07-06 21:25:57
1
原创 併發截圖版2
先找L1緩存，再找L2緩存，再找L3緩存。 緩存是按塊來讀的。緩存塊的大小叫做緩存行，固定大小64字節。 緩存一致性：緩存行在其他核更新時，本緩存如何更新？ 緩存行的4中狀態。英特爾CPU使用MESI緩存一致性協議。
2020-07-06 21:25:57
原创 離線架構HADOOP/HIVE/SPARK服務端環境
文章目錄服務配置zookeeperjournalnodenamenodeZKFCDataNodeResourceManagerJobHistorySparkHistoryhsproxyserNodeManager其他 服務 主機
2020-07-06 21:25:57
原创 SparkCore-2-Spark幾種提交方式
1.local 僅用於開發環境單機調試。 2.standalone方式 standalone是spark自帶的資源調度框架。這種方式下需要配置Mater和Worker，並啓動Master服務（如7077端口的）。該模式下，也可以c
2020-07-06 21:25:57
原创 top/ps查看高內存進程/查看機器核數
說明 本文主題： 1.使用ps命令查看使用內存或CPU最多的10個進程 2.top 或 ps 相關命令 常見使用： top top -c： 顯示全命令 top 交互 M ：以內存排序 top 交互 P ：以CPU排序 top 交
2020-07-06 21:25:57
1
原创 Linux文件atime、mtime、ctime
每一個文件都有3種時間戳timestamp，對這3種時間，很多時候容易混淆不清，因此這裏要說明下： atime access time(atime):是指取用文件的時間，所謂取用，常見的操作有：使用編輯器查看文件內容，使用cat命
2020-06-17 14:11:22
1
原创 gRPC測試
參考文獻： 示例及博客鏈接 優先推薦：帶pom的簡單示例 官網demo Intellij IDEA中使用Protobuf的正確姿勢 github: https://github.com/whbing/grpc-java/t
2020-06-17 14:11:22
原创 hdfs quota(SapceQuota是物理空間)
文章目錄說明測試1.小文件測試2.設小塊 說明：hadoop2.7和3.2均有測試，spaceQuota是物理空間！ 說明 關於hdfs quota，參見2篇博客的講解。 https://blog.csdn.net/qq_280
2020-06-17 14:11:22
原创 tmp_jstack
distcp寫EC文件時卡住，其jstack如下： 2020-01-06 19:37:53 Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.77-b03 mixed m
2020-06-17 14:11:22
3
原创 1. HDFS CLIENT WRITE調試篇
文章目錄DFSOutputStream2 DataStreamer線程PIPELINE整理1. [HDFS寫文件過程分析](http://shiyanjun.cn/archives/942.html)2. [Hadoop Pipe
2020-06-17 14:11:22
原创 namenode動態刷新配置
動態刷新配置： bin/hdfs dfsadmin –refreshSuperUserGroupsConfiguration bin/yarn rmadmin –refreshSuperUserGroupsConfiguratio
2020-06-17 14:11:22
原创 記一次排查NN CPU過高線程卡住問題
背景 在使用 hadoop fs -ls /xxx 或 hadoop fs -du -h /xxx時，出現特別卡頓的情況。懷疑namenode機器大CPU進程佔用。由此開始排查之旅。 過程 登錄nn機器（active和standb
2020-06-17 14:11:22
6
原创 3. EC HDFS WRITE調試篇
普通文件流使用的是DFSOutputStream，EC文件使用的流式DFSStripedOutputStream： public class DFSStripedOutputStream extends DFSOutputStre
2020-06-17 14:11:22