原创 HA/HDFS重要參數實操

前面有篇博文已經介紹了HA得原理,這篇主要來介紹HA的實操,HA原理: https://blog.csdn.net/czz1141979570/article/details/104856251   NN切換: 切換前的正常狀態爲:had

原创 HDFS HA 架構解析

  1、HA產生背景     在企業中,大多數公司都是採用cdh來部署集羣,對於hadoop集羣都是採用的完全分佈式方式。在hadoop集羣中肯定會有NN(Name Node)節點和SNN(Secondary Name Node)節點,而

原创 YARN HA解析

RM: a.啓動時會向 ZK的 hadoop-ha目錄寫一個lock文件,寫成功標識active,否則standby rm會一直監控lock文件是否存在,如果不存在就嘗試去創建,爭取爲active rm. b.會接收client的任務

原创 HDFS 文件讀寫流程剖析

Write: $ hadoop fs -put czz.log /wc_in/ 1、Client調用FileSystem.create(filePath)方法,與NN進行RPC通信,check是否存在及是否有權限創建;假如不ok,就返

原创 Prometheus監控系列之二:Prometheus運行框架和數據格式介紹

Prometheus體系結構 下圖說明了Prometheus的體系結構及其某些生態系統組件: Prometheus Server     這裏是prometheus的服務端,也就是核心。prometheus本身是一個以進程方式啓動,之後

原创 Linux磁盤IO那些事

磁盤性能指標 說到磁盤性能的衡量標準,必須要提到五個常見指標,也就是我們經常用到的,使用率、飽和度、IOPS、吞吐量以及響應時間等。這五個指標,是衡量磁盤性能的基本指標。 使用率,是指磁盤處理 I/O 的時間百分比。過高的使用率(比如

原创 “平均負載”那些事--這一篇就夠了

    每次發現系統變慢時,我們通常做的第一件事,就是執行 top 或者 uptime 命令,來了解系統的負載情況。比如像下面這樣,我在命令行裏輸入了 uptime 命令,系統也隨即給出了結果。 $ uptime 02:34:03 u

原创 Zabbix系列之三:添加監控主機/自動發現

監控主機   新創建一臺Linux虛擬機,在此虛擬機上只安裝httpd和zabbix-agent服務即可     自動發現 再新創建兩臺虛擬機,並對其進行開啓httpd和zabbix-agent服務(173和174)

原创 Zabbix系列之五:監控 web場景構建、聚合圖形

場景構建 在172機器上執行:echo "hadoop_test" >> /usr/local/nginx/html/test.html 測試:   觸發器創建 設置好之後進行test,正常圖見下 現在將/u

原创 IDEA超詳細使用介紹之一idea下載安裝及項目構造

一、IDEA下載與安裝 登錄idea官網: http://www.jetbrains.com/idea/  雙擊運行程序進行安裝 雙擊APP打開 Activation Code 獲取地址自行百度 表明已激活成功。   二

原创 Zabbix系列之二:zabbix監控快速搭建

  一、初始化系統配置 關閉防火牆 禁用SELINUX 開啓網卡 替換yum源   二、安裝LAMP環境 yum -y install mariadb mariadb-server httpd php php-mysql

原创 Zabbix系列之一:Zabbix概述

  Zabbix是一個基於web界面的提供分佈式系統監控以及網絡監視功能企業級的完全開源解決方案(基於GPL V2)。Zabbix可監控10萬設備,20萬個指標(在對mysql切片優化後),可監控database,可監控web moni

原创 Prometheus監控系列之一:Prometheus監控入門

    完善的監控流程體系是一個公司非常重要的部分。接下來會根據下圖進行解釋監控流程中的部分 1、監控系統設計(運維架構師):     這部分是由運維架構師進行設計,設計部分主要包括如下內容: 評估系統的業務流程、業務種類、架構體系  

原创 從零開始入門 K8s

一、什麼是 Kubernetes     Kubernetes,從官方網站上可以看到,它是一個工業級的容器編排平臺。Kubernetes 這個單詞是希臘語,它的中文翻譯是"舵手"或者"飛行員"。在一些常見的資料中也會看到"ks"這個詞,也

原创 深入淺出系列之 -- Kafka最佳部署實踐

    這是一篇關於 Kafka 實踐的文章,內容來自 DataWorks Summit/Hadoop Summit(Hadoop Summit)上的一篇分享,裏面講述了很多關於 Kafka 配置、監控、優化的內容,絕對是在實踐中總結出的