原创 深入淺出系列Hbase之原理及概念（1）
我們先來看看官網是如何介紹Hbase組件，其官網：http://hbase.apache.org/ Apache HBase™是Hadoop數據庫，這是一個分佈式，可擴展的大數據存儲。 當您需要對大數據進行隨機，實時的讀/寫訪問時，請
2020-06-27 07:11:04
原创 深入淺出系列Hbase之memstore flush、compaction
Memstore Flush 介紹 Memstore Flush深度解析請閱讀：http://hbasefly.com/2016/03/23/hbase-memstore-flush/ 觸發條件 memstore級別限制： 當
2020-06-27 07:11:04
1
原创 深入淺出系列Hbase之架構及讀寫流程
Hbase架構設計 HMaster 負責HBASE table和Region的元數據管理，包含表的創建、修改等 維護整個集羣的負載均衡 爲RegionServer分配Region 發現失效的region，並將失效的region分配到正
2020-06-27 07:11:04
原创 大數據運維面試題整理
HDFS總結： 1、HDFS是如何解決大規模數據的存儲和管理的 2、HDFS的架構原理和各核心組件的作用及關係 3、HDFS文件系統數據的讀寫流程 4、HDFS的HA的架構原理及核心 5、HDFS的Federation機制 6、HDSF的
2020-06-19 04:09:57
1
原创 生產環境調優YARN Container參數
Container是nodemanager虛擬出來的容器，用來運行task任務的，調優維度是memory+vcore 如何優化Container參數？？假設128G,16個物理core的服務器 1、裝完Centos，消耗內
2020-06-19 04:09:57
15
原创 Hadoop-HDFS組件中的本地存儲目錄(NN/DN/SNN)結構剖析
HDFS metadata以樹狀結構存儲整個HDFS上的文件和目錄，以及相應的權限、配額和副本因子（replication factor）等。本文基於hadoop2.6-cdh5.16.2版本介紹HDFS Namenode本地目錄
2020-06-19 04:09:57
原创 spark-shell啓動失敗
執行spark-shell命令後，出現以下報錯： java.net.BindException: Cannot assign requested address: Service 'sparkDriver' failed after 1
2020-06-19 04:09:57
2
原创 Spark RDD五大特性
學習rdd的特性最好是從官網和源碼來進行學習，首先看下官網解釋：http://spark.apache.org/docs/latest/rdd-programming-guide.html#resilient-distributed-da
2020-06-19 04:09:57
原创 Zabbix系列之四：Nginx併發監控
安裝nginx 首先需要下載nginx安裝tar包，地址爲：http://nginx.org/download/，並將其上傳至機器，對其進行解壓 > tar -zxvf nginx-1.2.6.tar.gz > yum -y in
2020-06-19 04:09:47
原创 Docker(一)-Docker介紹
什麼就Docker? Docker是一個開源項目， 誕生於2013年初，最初是dotCloud公司內部的一個業餘項目。它基於Google公司推出的Go語言實現。項目後來加入了Linux基金會，遵從了Apache 2.0協議，項
2020-05-11 01:32:23
原创 Docker(二)-Docker安裝
官方文檔：https://docs.docker.com/ Docker 支持多平臺的安裝（Linux/Windows/OS X）。 因爲Docker原生支持Linux，所以，可以直接在Linux上運行，而且在Windows和
2020-05-11 01:32:23
3
原创 Docker(七)-Dcoker常用命令
容器生命週期管理 run start/stop/restart kill rm pause/unpause create exec 容器操作 ps inspect top attach events logs wait ex
2020-05-11 01:32:23
原创 Linux 磁盤I/O工作原理及IO性能分析
磁盤介紹： 磁盤是可以持久化存儲的設備，根據存儲介質的不同，常見磁盤可以分爲兩類：機械磁盤和固態磁盤。 機械磁盤，也稱爲硬盤驅動器（Hard Disk Driver），通常縮寫爲 HDD。機械磁盤主要由盤片和讀寫磁頭組成，數據就存
2020-05-09 05:45:35
原创 超詳細的CentOS7.4下載與圖文安裝
一、CentOS7.4下載 官網下載地址：http://vault.centos.org/ 1、進入CentOS下載官網，找到CentOS7.4版本 2、在CentOS7.4版本頁面中，找到
2020-05-08 02:57:14
原创 Spark中的Application、Job、Stage與Task區別
首先，我先將這四種的定義列出來，之後咱們再通過簡單代碼進行分析。 RDD任務切分中間分爲：Application、Job、Stage和Task （1）Application：初始化一個SparkContext即生成一個Applicati
2020-05-07 04:48:14
1