原创 sqoop的安裝及簡單使用

一、說明 1、sqoop是sql to hadoop的縮寫。 2、連接傳統關係型數據庫和Hadoop的橋樑,把關係型數據庫的數據導入到 Hadoop 系統 ( 如 HDFS、HBase 和 Hive) 中; 把數據從 Hadoop 系統裏

原创 Flume單機安裝及測試

一、安裝 1、官網下載 http://flume.apache.org/download.html [root@master softWare]# cd flume/ [root@master flume]# ls [root@ma

原创 kafka+sparkStreaming+mysql

一、說明 1、一個程序模擬用戶每個時間點到達的地方和走的步數信息,並實時寫入kafka主題;sparkStreaming實時從kafka消費這些信息進行分析並存儲到mysql;這裏直接存儲到mysql; 2、sparkStreaming存

原创 命令查看yarn當前任務列表

1、說明 可以在linux任意目錄下輸入命令; 2、查看yarn的所有命令的使用方法 root@master /]# yarn application 20/06/24 14:44:08 INFO client.RMProxy: Con

原创 Es爲Hbase創建二級索引思路

一、說明 1、由於數據量巨大的時候,單純的Hbase查詢就會變得比較慢。如果讓Hbase查詢再快一些,就要爲其創建二級索引。爲Hbase創建二級索引一般有兩種思路,一個思路是使用phoenix爲Hbase創建二級索引,另一個思路是使用es

原创 怎麼運行scala語言打成jar包的程序

[root@slaves1 bin]# ./spark-submit --class com.cn.util.KafkaEventProducer /home/test/telecomeAnalysis-1.0.0.jar 20/06

原创 Phoenix映射Hbase中的表

一、說明 phoenix雖然可以使用sql對hbase進行很方便的查詢,但時在使用中會存在這樣的一個問題:經過hbase創建的表在phoenix中卻查不出來,phoenix默認卻只能顯示phoenix自己創建的表。如果要在phoenix中

原创 sqoop使用過程中遇到的坑

一、mysql和hive互相當導入時遇到的 注意:爲了避免其他問題最好先將hive配置文件下的hive-site.xml複製到sqoop配置文件夾下並保持一致; 1、錯誤一 19/06/05 10:03:38 ERROR hive.Hi

原创 sqoop之hive數據導入mysql

1、查詢hive表中的student數據及信息 hive> select * from student; OK 001 xiaohong 002 002 xiaolan 002 001 xiaohong 003 002 xiaolan

原创 sqoop之mysql數據導入hive

1、查看mysql表數據 mysql> select * from stu; +----------+------+----------+ | name | age | address | +----------+-----

原创 Kafka+sparkStreaming+Hbase(二)

一、說明 將此項目打成一個jar包telecomeAnalysis-1.0.0.jar,提交到yarn進行測試; 1、將telecomeAnalysis-1.0.0.jar放到master的/home/test/sparkpro/目錄下

原创 Hbase中Master、RegionServer、Zookeeper、Client、Hdfs之間的關係與聯繫

一、總體架構圖   二、Master、RegionServer、Zookeeper、Client、Hdfs之間的關係與聯繫 1、Hbase集羣有兩種服務器:一個Master服務器和多個RegionServer服務器; 2、Master服

原创 【IDEA】springBoot讀取properties配置文件裏的中文出現亂碼問題

1、問題描述 由於業務需求,需要在配置文件裏增加中文配置,但是在程序裏@Value(" ")動態獲取時,出現亂碼; 2、編輯環境 IDEA 3、解決辦法 (1)File-->settings-->File Encodings (2)代碼

原创 Redis位圖操作:getbit、setbit、bitcount

一、理論基礎 1、數據在redis中都是二進制存儲; 2、每一個非中文字符佔一個字節(Byte),中文字符佔兩個字節,而一個字節又是佔8bit。 3、位圖不是一個真實的數據類型,而是定義在字符串類型上的面向位的操作的集合。 二、語法 G

原创 Pipeline批量插入和查詢【java版】

一、代碼 1、工具類 package com.cn.until; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis