原创 hue安裝,及遇到的問題

本人安裝的是hue-3.9.0-cdh5.14.0版本.看網上的教程都很簡單.但是在安裝過程中,遇到各種坑.記錄下來,方便以後回顧總結. hue的安裝可以分爲幾步:1.安裝依賴. 2.配置hue.創建數據庫.3.編譯. 啓動,頁面訪問

原创 elasticsearch-5.5.2安裝,及安裝遇到的問題

elasticsearch-5.5.2安裝 最近在自己電腦上折騰elasticsearch,安裝過程中出現許多問題,記錄下來,供以後查閱參考,也希望可以幫到遇到同樣問題的小夥伴 本人安裝的是elasticsearch-5.5.2,軟件

原创 Linux mysql Transaction Check Error 報錯問題

最近在自己電腦上折騰一下mysql,在使用yum install的時候報錯了,出現Transaction Check Error,問題. 仔細百度了一下發現是軟件衝突問題導致的.後面就是衝突的軟件,用rpm方式卸載掉就可以了. yum

原创 spark部署,standalone,ha,配置歷史服務器

spark集羣安裝之前需要滿足如下條件: 集羣主機名和hosts文件映射一一對應 集羣ssh免密登錄配置 集羣每個節點防火牆關閉 JDK正確安裝 Scala正確安裝 Hadoop集羣安裝,因爲Spark存儲層要用到HDFS,所以應該

原创 hive 異常jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes的解決

最近在操作hive,在進入hive後,在 show databases; 的時候報了異常,如圖 在網上百度了之後,發現應該是hive元數據庫的編碼問題. 按如下辦法得到解決 1.刪除原hive連接MySQL數據庫中存放hive元數據的

原创 SpringBoot配置自定義日期參數轉換器

有時候前臺傳過來一個日期類型,在後臺接收就比較麻煩,這時候用springMVC的轉換器,就比較方便了. 主要三步, 1.自定義參數轉換器 自定義參數轉換器必須實現Converter接口 public class DateConverte

原创 啓動hive,報錯 ls: cannot access /export/spark/lib/spark-assembly-*.jar: No such file or directory,解決

安裝好spark,安裝hive,安裝的spark版本是2.1.3版本,hive版本是1.1.0 安裝好hive後,啓動,發現一個報錯,cannot access /export/spark/lib/spark-assembly-*.jar

原创 hue啓動報錯,ImportError: No mudule named search.conf

hue安裝好後,啓動hue的時候,報錯 ImportError: No mudule named search.conf   檢查了配置,發現沒有問題,進入mysql,發現,數據庫中沒有表,所以,是在這裏出了問題 重新進行編譯,進入h

原创 解決Windows環境下Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

    因爲在Linux的環境下運行代碼不是特別方便,所以,文章介紹的是在Windows環境下運行hadoop程序,搭配的環境是hadoop2.7.2+Windows10+eclipse.    一,搭建環境    1.將編譯後的hado

原创 使用Jedis連接redis時出現java.net.ConnectException: Connection refused: connect的解決方案

虛擬機安裝redis,我的虛擬機地址是192.168.25.120,安裝的redis版本是4.0.2 在虛擬機上安裝好了redis,虛擬機連接沒問題 在用Jedis連接虛擬機redis的時候報錯. redis.clients.jedis

原创 在dubbox服務中,無法連上註冊中心,報連接超時錯誤的問題

在Dubbox分佈式服務中,連不上虛擬機註冊中心,報連接超時問題.如下圖所示:檢查可能是如下兩個問題:1.虛擬機的防火牆未關閉.解決如下,關閉防火牆,或者放開註冊中心需要的端口關閉防火牆:檢查防火牆狀態:chkconfig iptable

原创 搭建maven工程,報錯:Missing artifact jdk.tools:jdk.tools:jar:1.8的解決方案

在eclipse中,在創建hadoop工程的時候.pom.xml文件報錯:Missing artifact jdk.tools:jdk.tools:jar:1.8.原因:tools.jar包是jdk自帶的,pom文件中依賴的包隱式依賴to

原创 啓動spark時,提示JAVA_HOME not set,解決

剛部署好的spark,啓動時報異常,JAVA_HOME is not set. 排查後發現,在sbin目錄下的spark-config.sh文件下未添加JAVA_HOME的索引. 在該文件下添加jdk的路徑,再分發到各個節點上就可以了