原创 spark高可用， yarn
1.配置spark-env.sh # 配置大哥;在二哥上面,MASTER_PORT=指的是自己 SPARK_MASTER_HOST=hadoop102 # 設置zookeepr,不能換行 SPARK_DAEMON_JAVA_OPT
2020-07-01 05:23:26
原创 shell概括
Shell 1）Linux提供的Shell解析器有： [jinghnag@hadoop101 ~]$ cat /etc/shells /bin/sh /bin/bash /sbin/nologin /bin/dash /bin/
2020-07-01 04:07:16
原创 什麼是RDD_
什麼是RDD? Spark 中最基本的數據抽象是 RDD。 RDD：彈性分佈式數據集 (Resilient Distributed DataSet)。 1，RDD 有三個基本特性 這三個特性分別爲：分區，不可變，並行操作。 a，
2020-07-01 04:07:16
原创 關於Hadoop相關的各種概念及優缺點
Hadoop優勢 hdfs定義 hdfs優點 什麼是hive Hive：由Facebook開源用於解決海量結構化日誌的數據統計。 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張表，並提供類SQ
2020-07-01 04:07:16
原创 hive中select語句只能執行一遍的問題
先說一下環境，我用的是hadoop3.1.1 + zookeeper3.4.6 + hive3.1.1。採用多用戶模式搭建hive，建表、導入數據等很正常。select如果是hdfs操作也很正常，但如果涉及到MapReduce操作
2020-07-01 04:07:16
原创 hadoop如何搭建僞分佈式
1 準備乾淨的linux linux沒有安裝任何的軟件並且沒有進行過任何的操作。 2 關閉防火牆 通過命令service iptables sopt 來關閉防火牆 通過 chkconfig iptables off 來關閉開機自
2020-07-01 04:07:16
原创 hadoop完全分佈式搭建1.0
1.克隆三臺虛擬機 例： hadoop101 NN DN NM hadoop102 RM DN NM hadoop103 2NN DN NM 分析： hadoop101裏配置na
2020-07-01 04:07:16
原创 spark資源調度模式的種類
1.資源調度模式 1.1 local模式（本地） 運行該模式非常簡單，只需要把Spark的安裝包解壓後，改一些常用的配置即可使用，而不用啓動Spark的Master、Worker守護進程( 只有採用集羣的Standalone方式時
2020-07-01 04:07:16
原创 spark集羣--standlone
1.參見網址: http://spark.apache.org/docs/latest/spark-standalone.html 2.對自己的服務器做一個規劃 3.準備工作 網絡 免密鑰 把spark的包四臺電腦都複製一份 4
2020-07-01 04:07:16
原创 hive基礎命令和配置
第1章 Hive基本概念 1.1 什麼是Hive Hive：由Facebook開源用於解決海量結構化日誌的數據統計。 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張表，並提供類SQL查詢功能。 本質
2020-07-01 04:07:16
原创 hadoop找不到或無法加載主類 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
錯誤信息: Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : L
2020-07-01 04:07:16
原创 zookeeper基礎問題
zookeeper是什麼 zookeeper是一個分佈式協調服務的開源框架，主要是用來解決分佈式集羣中應用系統的一致性問題，例如怎樣避免網時操作同一數據造成的髒讀的問題，zookeeper本質上是一個分佈式的小文件存儲系統，提供基
2020-07-01 04:07:16
原创 hadoop 解除 "Name node is in safe mode"
hadoop 解除 “Name node is in safe mode” 解決的命令： hdfs dfsadmin -safemode leave #關閉safe mode 可以通過dfsadmin -safemode valu
2020-07-01 04:07:16
原创 hadoop安全模式問題
hadoop 解除 “Name node is in safe mode” 解決的命令： hdfs dfsadmin -safemode leave #關閉safe mode 可以通過dfsadmin -safemode valu
2020-07-01 04:07:16
原创 hive常見異常
1.Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. org.apache.hadoop.hive.ql.metadata.H
2020-07-01 04:07:16