最簡單的-spark3-集羣搭建

hadoop集羣搭建方案

hive單機搭建方案

hbase集羣搭建方案

storm集羣搭建方案

flume集羣搭建方案

spark3集羣搭建方案

機器：

10.211.55.67 master
10.211.55.68 slave1
10.211.55.69 slave2

首先三臺機器安裝scala

wget https://downloads.lightbend.com/scala/2.13.2/scala-2.13.2.tgz

下載之後配置環境變量

#scala
export SCALA_HOME=/home/scala-2.13.2
export PATH=$PATH:$SCALA_HOME/bin

測試 scala -version

配置spark環境變量

#spark
export SPARK_HOME=/home/spark-3.0.0/
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

進入conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

export JAVA_HOME=/home/jdk1.8.0_241/
export SCALA_HOME=/home/scala-2.12.6/
export HADOOP_HOME=/home/hadoop-3.2.1/
export HADOOP_CONF_DIR=/home/hadoop-3.2.1/etc/hadoop
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

#說明
JAVA_HOME：Java安裝目錄
SCALA_HOME：Scala安裝目錄
HADOOP_HOME：hadoop安裝目錄
HADOOP_CONF_DIR：hadoop集羣的配置文件的目錄
SPARK_MASTER_IP：spark集羣的Master節點的ip地址
SPARK_WORKER_MEMORY：每個worker節點能夠最大分配給exectors的內存大小
SPARK_WORKER_CORES：每個worker節點所佔有的CPU核數目
SPARK_WORKER_INSTANCES：每臺機器上開啓的worker節點的數目

cp slaves.template slaves & vim slaves
在最後下添加

slave1
slave2

拷貝到節點

scp -r /home/spark-3.0.0/ slave1:/home/
scp -r /home/spark-3.0.0/ slave2:/home/

進入/sbin

./start-all.sh

訪問界面

http://10.211.55.67:8080/
http://10.211.55.68:8081/
http://10.211.55.69:8081/