原创 VUE——HelloWorld
1、安裝node環境 https://nodejs.org/zh-cn/ 我下載的是win10的，自帶npm，安裝好測試一下 node -v npm -v 有版本號即可 ------------------此時node環境安裝完畢 由於n
2020-06-30 05:52:50
原创 ORC存儲格式
1、orc索引 index、row group index、bloom filter index set hive.optimize.index.filter=true;打開索引（默認是flase） 輕量級索引Row Group Inde
2020-06-30 05:52:50
原创 rsync遠程同步和時間同步
1、基本語法 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname 2、xsync集羣分發腳本 touch xsync.sh vim xsync.sh #!/bin/ba
2020-06-30 05:52:50
2
原创 centos6.8部署cloudera-manager
環境 centos 6.8 cm6.2 cdh6.2 jdk1.8 機器 node1 node2 node3 1、下載安裝包 下載地址https://archive.cloudera.com/cm6/6.2.0/redhat6
2020-06-30 05:52:50
原创 sqoop導入mysql數據到hive表
1、創建orc表並導入mysql數據 腳本文件如下：（必須這樣寫，一行參數，一行值） import --connect jdbc:mysql://node2:3306/sqoop --username root --password r
2020-06-30 05:52:50
原创 Hadoop 黑白名單，新節點
1、hadoop動態增加新節點 1、添加主機映射 vim /etc/hosts,這裏是node4 192.168.88.135 master0 192.168.88.136 master1 192.168.88.137 node1 192
2020-06-30 05:52:50
原创 Kerberos基本配置
1 選擇一臺機器運行KDC，安裝Kerberos相關服務 yum install -y krb5-devel krb5-server krb5-workstation 2 配置Kerberos，包括krb5.conf和kdc.conf，
2020-06-30 05:52:50
6
原创 centos6.8部署kerberos
Kerberos是一種認證機制，用於hadoop集羣安全認證 1、安裝 系統環境：centos6.8 集羣主機： node1 node2 node3 軟件包： 下載地址：http://www.rpmfin
2020-06-30 05:52:50
原创 Kylin大數據分析神獸
apache版本安裝 安裝 hbase-1.2.11-bin.tar.gz 安裝 hive-2.1.0 安裝 hadoop-2.6.0-cdh 安裝 zookeeper-3.4.12 安裝 apache-kylin-2.0.0-bin-h
2020-06-30 05:52:50
原创 sqoop1.4.7
sqoop安裝 1、sqoop 1.4.7下載地址 http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 2、tar 解壓,配
2020-06-30 05:52:50
原创 MR——worldcount案例
springboot程序 1、導入依賴 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <ver
2020-06-30 05:52:50
原创 Hadoop理論
1、hadoop安全模式 NameNode存放的是元數據信息（包括塊(block)在哪個位置，所有者，大小等等），元數據信息放到內存中，而內存一斷電就會丟失數據，於是產生了映像文件（fsimage）和edits（編輯日誌），fsimage
2020-06-30 05:52:50
原创 kafka安裝0.10.2.2，scala-2.10
下載地址http://kafka.apache.org/downloads.html 1、解壓 2、在kafka根目錄下創建kafkalogs 3、cd /usr/local/kafka-0.10/config 4、配置文件vim ser
2020-06-30 05:52:50
原创 hive2.1.0 on spark1.6.0 on yarn配置
spark安裝 版本：hadoop2.6.0 hive-2.1.0 spark-1.6 1、編譯spark 因爲hive使用的是apache-hive-2.1.0，不需要spark集成的hive，所以需要自己手動編譯spark源碼，編
2020-06-09 04:05:17
原创 centos 6.8安裝mysql-5.7.24
一、centos 6 安裝mysql5.7.24 1、卸載linux自帶的mysql [root@localhost /]# rpm -qa | grep mysql 查看old mysql [root@localhost /]
2020-06-09 04:05:07