原创 MapReduce編程小案例.11th—數據傾斜場景part1
MapReduce編程小案例.11th—數據傾斜場景數據：a a a a a a b b b a a a a a a a c c b c a a a c a b b c a a d d e e f f f g a a a b a b h
2020-06-26 15:02:40
原创 HIVE精煉筆記總結——[啓示篇]
1.什麼是hivehive基本思想Hive是基於Hadoop的一個數據倉庫工具(離線)，可以將結構化的數據文件映射爲一張數據庫表，並提供類SQL查詢功能。Ø 直接使用hadoop所面臨的問題 人員學習成本太高項目週期要求太短MapRed
2020-06-26 15:02:40
原创 HIVE精煉筆記總結——[建導篇]
1. hive建庫建表與數據導入1.1. 建庫hive中有一個默認的庫：庫名： default庫目錄：hdfs://hdp20-01:9000/user/hive/warehouse 新建庫：create database db_orde
2020-06-26 15:02:40
原创 輕鬆上手ZooKeeper集羣搭建
Step1：首先給Linux上傳ZooKeeper安裝包，然後解壓；Step2：進入到你所安裝的包的路徑裏面，進入conf配置文件的目錄，把zoo_sample.cfg改成zoo.cfg修改conf/zoo.cfg# The number
2020-06-26 15:02:40
原创 在Linux中ZooKeeper集羣啓動或者暫停的腳本
#!/bin/bash for host in hadoop1 hadoop2 hadoop3 do echo "${host}:$1ing...." ssh $host "source /etc/profile;/root/apps/z
2020-06-26 15:02:40
原创 ZooKeeper的java客戶端api的監聽功能代碼示範
ZooKeeper的java客戶端api的監聽功能代碼示範package cn.edu360.zk.demo; import java.util.List; import org.apache.zookeeper.KeeperEx
2020-06-26 15:02:39
原创 HIVE精煉筆記總結——[類型篇]
1.1. 數據類型1.1.1. 數字類型TINYINT (1-bytesigned integer, from -128 to 127)SMALLINT (2-bytesigned integer, from -32,768 to 32
2020-06-26 15:02:39
原创 HIVE精煉筆記總結——[使用篇]
hive使用方式1.1. 最基本使用方式啓動一個hive交互shellbin/hivehive> 設置一些基本參數，讓hive使用起來更便捷，比如：1、讓提示符顯示當前庫：hive>set hive.cli.print.current.d
2020-06-26 15:02:39
原创 hadoop-2.6.4-HA集羣搭建
hadoop-2.6.4-HA集羣搭建hadoop2.0已經發布了穩定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA前期準備就不詳細說了，1.修改Linux主機名2.修改IP3
2020-02-21 23:02:14
1