部署spark集羣有許多步驟,但是使用docker的話可以極大簡化這些步驟,再通過docker-compose還可以進一步簡化部署步驟。命令如下:
git clone https://github.com/Likes123/docker-spark-cluster && cd docker-spark-cluster
docker-compose up --scale spark-worker=3
實際上也很簡單,之所部署命令簡單,是因爲有人寫好了相應的docker-compose文件。我們可以根據自己的需要調整docker-compose文件