原创 Hadoop生態圈之Oozie（一）
Apache Oozie Oozie 是一個用來管理 Hadoop 生態圈 job 的工作流調度系統。由 Cloudera 公司貢獻給 Apache。 Oozie 是運行於 Java servlet 容器上的一個 java web 應
2020-06-28 15:44:53
原创 Hadoop生態圈之Hue（一）
Apache Hue HUE=Hadoop User Experience Hue 是一個開源的 Apache Hadoop UI 系統，由 Cloudera Desktop 演化而來，最後 Cloud
2020-06-28 15:44:53
原创 Sql 練習50道（掌握可解大部分的sql問題）（11 - 20）
題目（詳解 11-20）： 11.查詢至少有一門課與學號爲“01”的同學所學相同的同學的學號和姓名； SELECT s.sid,s.sname FROM student s,sc WHERE s.sid=sc.sid AND sc
2020-06-28 15:44:53
原创 Hadoop生態圈之Kudu（一）
Apache Kudu Apache Kudu 是由 Cloudera 開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數據分析能力。它是一個融合 HDFS 和 HBase 的功能的新組件，具備介於兩者之間的新存儲組
2020-06-28 15:44:42
3
原创 Hadoop生態圈之Impala（一）
Apache Impala impala 是 cloudera 提供的一款高效率的 sql 查詢工具，提供實時的查詢效果 impala 是基於 hive 並使用內存進行計算，兼顧數據倉庫，具有實時，批處理，多
2020-06-28 15:44:42
1
原创 Sql 練習50道（掌握可解大部分的sql問題）（初始化 and 1-10）
數據庫表初始化： create table Student(sid varchar(10),sname varchar(10),sage datetime,ssex nvarchar(10)); insert into Student
2020-06-28 15:44:42
原创 Hadoop生態圈之Azkaban（一）
Azkaban 1.工作流 工作流（Workflow），指“業務過程的部分或整體在計算機應用環境下的自動化”。是對工作流程及其各操作步驟之間業務規則的抽象、概括描述。 工作流解決的主要問題是：爲了實現某個業
2019-09-16 10:25:05
5
原创 Hadoop生態圈之Sqoop（一）
Apache Sqoop 介紹 Apache Sqoop 是在 Hadoop 生態體系和 RDBMS 體系之間傳送數據的一種工具 Sqoop 工作機制是將導入或導出命令翻譯成 mapreduce 程序來實現。在
2019-09-16 10:25:05
原创 Hadoop生態圈之Flume（二）
Flume攔截器實戰案例 日誌採集和彙總 案例場景 A、B兩臺日誌服務機器實時生產日誌主要類型爲access.log、nginx.log、web.log 現在要求： 把A、B 機器中的access.log、nginx.log、web.lo
2019-09-03 09:55:57
原创 Sql 學習筆記（一）
1. 數據庫的創建 create database <數據庫名稱>; 2. 表的創建 create table <表名> (<列名1> <數據類型> <該列所需約束>, <列名1> <數據類型> <該列所需約束>, <列名1> <
2019-09-03 09:55:57
原创 Hadoop_day06_MapReduce 的工作機制詳解
1. MapTask 工作機制 簡單概述：inputFile通過split被邏輯切分爲多個split文件，通過Record按行讀取內容給map（用戶自己實現的）進行處理，數據被map處理結束之後交給OutputCollector收集器，對
2019-09-03 09:55:57
1
原创 Hadoop_day06_MapReduce 的 Reduce 和 Map 端實現 join 操作
一、Reduce 端 1. 需求 商品表 id pname category_id price P0001 小米5 1000 2000 P0002 錘子T1 1000 3000 訂單數據表 id date pid amount 1001
2019-09-03 09:55:57
2
原创 Hive（數據倉庫） Hive 的安裝
Hive 的安裝 這裏我們選用hive的版本是 2.1.1 下載地址爲：http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz 下載之後，將我
2019-09-03 09:55:57
1
原创 Hive（數據倉庫）Hive 的查詢語法、shell參數、函數
4. Hive 查詢語法 4.1. SELECT SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_co
2019-09-03 09:55:57
2
原创 Hadoop_day06_MapReduce 的 經典案例（求共同好友）
1. 需求分析 以下是qq的好友列表數據，冒號前是一個用戶，冒號後是該用戶的所有好友（數據中的好友關係是單向的） A:B,C,D,F,E,O B:A,C,E,K C:A,B,D,E,I D:A,E,F,L E:B,C,D,M,L F
2019-09-03 09:55:57
1