原创 HDFS原理-架構、副本機制、HDFS負載均衡、機架感知、健壯性、文件刪除恢復機制
第一部分：當前HDFS架構詳盡分析 HDFS架構 •NameNode •DataNode •Sencondary NameNode 數據存儲細節 NameNode 目錄結構 Namenode 的目錄結構：
2020-06-27 12:20:09
原创 Cloudera Manager的備份和災難恢復
注：只有Cloudera Manager企業版纔有Cloudera Manager的備份和災難恢復功能 一、 概述 Cloudera Manager提供了一個集成的、易於使用的管理解決方案，使數據保護在Hadoop的平臺。Cloud
2020-06-27 12:20:08
6
原创 hadoop的dfs.replication和dfs setrep
首先 dfs.replication這個參數是個client參數，即node level參數。需要在每臺datanode上設置。 其實默認爲3個副本已經夠用了，設置太多也沒什麼用。 一個文件，上傳到hdfs上時指定的是幾個副本就是幾個
2020-06-27 12:20:07
16
原创 卸載Cloudera Manager(CM)和Cloudera Data Hub(CDH)
1、先在Manage管理端移除所有服務。2、刪除Manager Server在Manager節點運行$ sudo /usr/share/cmf/uninstall-cloudera-manager.sh如果沒有該腳本，則可以手動刪除，先停
2020-06-27 12:20:07
2
原创 Hadoop集羣節點的動態增加與刪除
Hadoop集羣節點的動態增加 1. 安裝配置節點 具體過程參考 《Hadoop集羣實踐 之 (1) Hadoop(HDFS)搭建》 2. 在配置過程中需要在所有的Hadoop服務器上更新以下三項配置 $ sudo vim /et
2020-02-23 04:24:24
2
原创 手工釋放linux內存——/proc/sys/vm/drop_cache
linux的內存查看： [root@localhost 0.1.0]# free -m total used free shared buffers
2020-02-23 04:24:24
原创 手動安裝Cloudera Manager
手動安裝前需要先開啓HTTPD服務 執行/usr/sbin/apachectl start，開啓後可以通過url訪問/var/www/html下的目錄。 1、下載cloudera manager的repo資源 下載 http://arc
2020-02-23 04:24:24
原创 SolrCloud簡介
一.簡介 SolrCloud是Solr4.0版本以後基於Solr和Zookeeper的分佈式搜索方案。SolrCloud是Solr的基於Zookeeper一種部署方式。Solr可以以多種方式部署，例如單機方式，多機Master-Sla
2020-02-23 04:24:24
原创 linux下使用yum安裝mysql
linux下使用yum安裝mysql 1、安裝 查看有沒有安裝過： yum list installed mysql* rpm -qa | grep mysql* 查看有沒有安裝包：
2020-02-23 04:24:24
原创 【配置CDH和管理服務】關閉DataNode前HDFS的調優
配置CDH和管理服務 關閉DataNode前HDFS的調優 角色要求：配置員、集羣管理員、完全管理員 當一個DataNode關閉，NameNode確保每一個DataNode中的每一個塊根據複製係數（the replication fa
2020-02-23 04:24:24
原创 離線升級Cloudera Manager(CM)和Cloudera Data Hub(CDH)
升級Cloudera Manager(CM) 管理界面點擊“主機”，點擊“重新運行主機升級嚮導”，添加Httpd的url路徑，如：http://192.168.1.201/cm/5.2.0。升級Cloudera Data Hub(CDH
2020-02-23 04:24:24
原创 重裝CDH遇到的幾個問題
1、HDFS啓動失敗原因： dfs目錄下數據版本是老的。 操作： 刪除dfs目錄，重新初始化新的目錄。 2、Hbase Master啓動失敗原因： zookper 鏈接信息過期了。 操作： 進入zookeeper控制檯：.../zook
2020-02-23 04:24:24
1
原创 Hadoop 常見問題處理彙總
P1：ssh連接機器，出現ssh:NODE_166:Temporary failure in name resolution 解決辦法：檢查/etc/hosts文件中定義了主機名和IP地址對應關係是否正確。 P2：
2020-02-23 04:24:24
原创 Impala各版本新特性
本文主要整理一下 Impala 每個版本的新特性，方便了解 Impala 做了哪些改進、修復了哪些 bug。 Impala 目前最新版本爲 1.4.0，其下載地址爲：http://archive.cloudera.com/impa
2020-02-23 04:24:24