原创 apache kudu安裝

kudu安裝方法簡介第一步:下載rpm包http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.14.0/RPMS/x86_64/    kudu-1.6.0+cdh5.14.0+0-

原创 ntp同步服務器搭建

第一步:首先檢查是否有安裝ntp:如果沒有安裝則使用以下命令安裝:                yum -y install ntp第二步:設置隨機啓動:                service ntpd start       

原创 hadoop命令大全

hdfs命令大全 hdfs常用命令: 第一部分:hdfs文件系統命令 第一類:文件路徑增刪改查系列: hdfs dfs -mkdir dir  創建文件夾 hdfs dfs -rmr dir  刪除文件夾dir hdfs dfs -ls

原创 kudu常見錯誤整理

kudu啓動報錯:報錯一:Log file created at: 2018/04/02 10:40:33Running on machine: mrj001Log line format: [IWEF]mmdd hh:mm:ss.uuu

原创 linux環境安裝mysql

#將rpm包上傳到/root/work目錄(也可以是其他目錄)MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpmMySQL-client-5.6.29-1.linux_glibc2.5.x86_

原创 clouder manager卸載

cloudera manager卸載 一、卸載Cloudera Manager Server 和Agents        注意:卸載Cloudera Manager後,根據需要保留或者刪除集羣中的Hadoop數據。下面的命令沒有刪除Ha

原创 clouder manager環境搭建

摘要: 看了網上衆說紛紜的ccloudera manager安裝文檔,感覺就是太過繁瑣,我結合自己安裝的經驗跟大家分享一個簡單實用的安裝教程運行環境軟硬件環境    主機操作系統:Windows 64 bit,雙核4線程,主頻2.2G,8

原创 HDFS壞塊解決方案

問題描述: flume採集文件到hdfs,從hdfs的接口層同步數據,結果發現報錯:Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{B

原创 點擊run之後你的java文件經歷了什麼?

java源文件編寫完成之後,點擊run方法開始執行到最終執行結束經歷了什麼呢?我們來仔細看看: 第一:編譯 java源文件經過jvm編譯器編譯形成.class字節碼文件,字節碼文件包含了兩個部分的內容,第一部分是常量池,記錄了所有的常量,

原创 Failed to locate the winutils binary in the hadoop binary path java.io.IOException解決方法

問題描述: ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate

原创 ArrayList源碼分析

ArrayList是一個動態數組,能夠自動增長容量,線程不安全,適用於單線程,在多線程的情況下,推薦使用Collection.synchronizedList(List list)返回一個ArrayList進行使用,或者是直接使用conc

原创 Transient關鍵字詳解

Transient關鍵字描述 Transient關鍵字用於序列化操作中對不需要序列化字段的修飾,在序列化操作中,static和transient修飾的關鍵字不能夠被序列化,因爲static關鍵字修飾的成員變量爲靜態變量,靜態內容屬於類,不

原创 Centos7最小化安裝部署踩坑

centos7與以前版本的centos系統相比有一定的區別,在這裏,我總結了相關的操作問題,希望可以幫的到大家:centos7下載地址:https://www.centos.org/download/            版本選擇:DV

原创 java序列化詳解

什麼是序列化?         序列化就是一種用來處理對象流的機制,所謂對象流也就是將對象的內容進行流化。可以對流化後的對象進行讀寫操作,也可將流化後的對象傳輸於網絡之間。 爲什麼需要序列化?         解決針對對象進行流操作的時候

原创 全網第一人:CAUSED BY: NoClassDefFoundError: org/apache/hadoop/fs/adl/AdlFileSystem

這個問題坑了我整整三天,深惡痛絕,讓我罵娘;以至於我單寫一篇博客以瀉心中怒火問題如下:impala創建表之後查詢表:Query: select * from sfmta_raw limit 10Query submitted at: 20