原创 hive DDL 筆記

爲了查看錶結構和數據方便使用客戶端服務端模式訪問hive   開啓hive服務端（監聽端口爲10000） [root@master apps]# hive-1.2.1/bin/hiveserver2 開啓服務端口後光標一直閃爍，表示開啓

2018-08-29 16:08:25 3

原创 HIVE使用本地模式執行操作

將hive的Job交給yarn執行太慢，hive支持本地模式 set hive.exec.mode.local.auto=true;默認爲false 測試例子： 試驗：先創建一張表，指定文件格式爲sequencefile create

2018-08-29 16:08:25 4

原创 centos7+hive-1.2.1安裝教程

一、下載hive1.2.1下載地址二、上傳至linux並解壓[root@master apps]# tar -zxvf apache-hive-1.2.1-bin.tar.gz[root@master apps]# cd hive-1.2

2018-08-29 16:08:25

原创 Spark2.2.0集羣搭建學習筆記

一、Spark簡介：Saprk可以運行在hadoop的yarn或Mesos,standalone,clude(資源管理框架)上，使用的文件系統可以是HDFS，也可以使Cassandra,HBase等。   二、環境搭建： 如果想學習spa

2018-08-29 16:08:25 3

原创 Spark提交任務的命令

bin/spark-submit --master spark://master.hadoop:7077,slave1.hadoop:7077 --executor-memory 512mb --total-executor-cores

2018-08-29 16:08:25 2

原创 Spark+zookeeper搭建高可用集羣學習筆記

Master結點存在單點故障，所以要藉助zookeeper，至少啓動兩臺Master結點來實現高可用，配置方案比較簡單 先停止所有Spark服務，然後安裝zookeeper，並啓動zookeeper 集羣規劃： 主機名 IP地址 啓動程序

2018-08-29 16:08:25

原创 Hadoop2.8集羣安裝詳細教程

一、網絡及主機名配置192.168.1.2master.hadoop192.168.1.3slave1.hadoop192.168.1.4slave2.hadoop1.修改主機名[root@master /]# vi /etc/hostn

2018-08-29 16:08:24

原创 spark資源調度與yarn類比

spark資源調度與yarn類比： master負責資源調度：就是決定在那些worker上啓動executor,監控worker) ————>   yarn上的是resourcemanager worker負責啓動執行任務的進程（exec

2018-08-29 16:08:24

原创 zookeeper集羣啓動腳本

zookeeper啓動腳本（start-zk.sh）============================================================================#

2018-08-29 16:08:24

原创 hadoop2.8.0+zookeeper-3.4.10搭建HA(高可用集羣)

一、網絡及主機名配置ip地址主機名安裝軟件j進程192.168.1.2master.hadoopjdk,hadoop,zookeepernamenode,datanode,ZKFC,ResourceManager,nodemanager1

2018-08-29 16:08:23

原创 hive指定mysql數據源

Hive 默認使用 derby 作爲映射表（SQL 操作映射爲MapReduce Job，將SQL中創建的表映射爲 hdfs 的文件/文件夾，字段映射爲其中的行），但 derby 的一大缺陷在於它不允許多個客戶端同時執行sql操作。不同的

2018-08-29 16:08:23

原创 centos7+mysql5.7安裝教程+（可能出現的多種錯的解決辦法）

#卸載系統自帶的Mariadb[root@master ~]# rpm -qa|grep mariadb mariadb-libs-5.5.44-2.el7.centos.x86_64 [root@master ~]# rpm -e --

2018-08-29 16:08:23 4