Hive 處理數據例子

Hive學習之路 (十一)Hive的5個面試題

討論QQ:1586558083

目錄

 

正文

回到頂部

一、求單月訪問次數和總訪問次數

1、數據說明

數據字段說明

用戶名,月份,訪問次數

數據格式

複製代碼

A,2015-01,5
A,2015-01,15
B,2015-01,5
A,2015-01,8
B,2015-01,25
A,2015-01,5
A,2015-02,4
A,2015-02,6
B,2015-02,10
B,2015-02,5
A,2015-03,16
A,2015-03,22
B,2015-03,23
B,2015-03,10
B,2015-03,1

複製代碼

2、數據準備

(1)創建表

複製代碼

use myhive;
create external table if not exists t_access(
uname string comment '用戶名',
umonth string comment '月份',
ucount int comment '訪問次數'
) comment '用戶訪問表' 
row format delimited fields terminated by "," 
location "/hive/t_access"; 

複製代碼

(2)導入數據

load data local inpath "/home/hadoop/access.txt" into table t_access;

(3)驗證數據

select * from t_access;

3、結果需求

現要求出:
每個用戶截止到每月爲止的最大單月訪問次數和累計到該月的總訪問次數,結果數據格式如下

4、需求分析

此結果需要根據用戶+月份進行分組

(1)先求出當月訪問次數

複製代碼

--求當月訪問次數
create table tmp_access(
name string,
mon string,
num int
); 

insert into table tmp_access 
select uname,umonth,sum(ucount)
 from t_access t group by t.uname,t.umonth;

select * from tmp_access;

複製代碼

(2)tmp_access進行自連接視圖

create view tmp_view as 
select a.name anme,a.mon amon,a.num anum,b.name bname,b.mon bmon,b.num bnum from tmp_access a join tmp_access b 
on a.name=b.name;

select * from tmp_view;

(3)進行比較統計

select anme,amon,anum,max(bnum) as max_access,sum(bnum) as sum_access 
from tmp_view 
where amon>=bmon 
group by anme,amon,anum;

回到頂部

二、學生課程成績

 1、說明

複製代碼

use myhive;
CREATE TABLE `course` (
  `id` int,
  `sid` int ,
  `course` string,
  `score` int 
) ;

複製代碼

複製代碼

// 插入數據
// 字段解釋:id, 學號, 課程, 成績
INSERT INTO `course` VALUES (1, 1, 'yuwen', 43);
INSERT INTO `course` VALUES (2, 1, 'shuxue', 55);
INSERT INTO `course` VALUES (3, 2, 'yuwen', 77);
INSERT INTO `course` VALUES (4, 2, 'shuxue', 88);
INSERT INTO `course` VALUES (5, 3, 'yuwen', 98);
INSERT INTO `course` VALUES (6, 3, 'shuxue', 65);

複製代碼

2、需求

求:所有數學課程成績 大於 語文課程成績的學生的學號

1、使用case...when...將不同的課程名稱轉換成不同的列

create view tmp_course_view as
select sid, case course when "shuxue" then score else 0 end  as shuxue,  
case course when "yuwen" then score else 0 end  as yuwen from course;  

select * from tmp_course_view;

 

2、以sid分組合並取各成績最大值

create view tmp_course_view1 as
select aa.sid, max(aa.shuxue) as shuxue, max(aa.yuwen) as yuwen from tmp_course_view aa group by sid;  

select * from tmp_course_view1;

3、比較結果

select * from tmp_course_view1 where shuxue > yuwen;

回到頂部

三、求每一年最大氣溫的那一天  + 溫度

 1、說明

數據格式

2010012325

具體數據

 View Code

數據解釋

2010012325表示在2010年01月23日的氣溫爲25度

2、 需求

比如:2010012325表示在2010年01月23日的氣溫爲25度。現在要求使用hive,計算每一年出現過的最大氣溫的日期+溫度。
要計算出每一年的最大氣溫。我用
select substr(data,1,4),max(substr(data,9,2)) from table2 group by substr(data,1,4);
出來的是 年份 + 溫度 這兩列數據例如 2015 99

但是如果我是想select 的是:具體每一年最大氣溫的那一天 + 溫度 。例如 20150109 99
請問該怎麼執行hive語句。。
group by 只需要substr(data,1,4),
但是select substr(data,1,8),又不在group by 的範圍內。 
是我陷入了思維死角。一直想不出所以然。。求大神指點一下。
在select 如果所需要的。不在group by的條件裏。這種情況如何去分析?

3、解析

(1)創建一個臨時表tmp_weather,將數據切分

create table tmp_weather as 
select substr(data,1,4) years,substr(data,5,2) months,substr(data,7,2) days,substr(data,9,2) temp from weather;
select * from tmp_weather;

(2)創建一個臨時表tmp_year_weather

create table tmp_year_weather as 
select substr(data,1,4) years,max(substr(data,9,2)) max_temp from weather group by substr(data,1,4);
select * from tmp_year_weather;

(3)將2個臨時表進行連接查詢

select * from tmp_year_weather a join tmp_weather b on a.years=b.years and a.max_temp=b.temp;

回到頂部

四、求學生選課情況

回到頂部

1、數據說明

(1)數據格式

複製代碼

id course 
1,a 
1,b 
1,c 
1,e 
2,a 
2,c 
2,d 
2,f 
3,a 
3,b 
3,c 
3,e

複製代碼

(2)字段含義

表示有id爲1,2,3的學生選修了課程a,b,c,d,e,f中其中幾門。

回到頂部

2、數據準備

(1)建表t_course

create table t_course(id int,course string)
row format delimited fields terminated by ",";

(2)導入數據

load data local inpath "/home/hadoop/course/course.txt" into table t_course;

回到頂部

3、需求

編寫Hive的HQL語句來實現以下結果:表中的1表示選修,表中的0表示未選修

id    a    b    c    d    e    f
1     1    1    1    0    1    0
2     1    0    1    1    0    1
3     1    1    1    0    1    0

回到頂部

4、解析

第一步:

select collect_set(course) as courses from id_course;

第二步:

複製代碼

set hive.strict.checks.cartesian.product=false;

create table id_courses as select t1.id as id,t1.course as id_courses,t2.course courses 
from 
( select id as id,collect_set(course) as course from id_course group by id ) t1 
join 
(select collect_set(course) as course from id_course) t2;

複製代碼

啓用嚴格模式:hive.mapred.mode = strict // Deprecated
hive.strict.checks.large.query = true
該設置會禁用:1. 不指定分頁的orderby
         2. 對分區表不指定分區進行查詢 
         3. 和數據量無關,只是一個查詢模式

hive.strict.checks.type.safety = true
嚴格類型安全,該屬性不允許以下操作:1. bigint和string之間的比較
                  2. bigint和double之間的比較

hive.strict.checks.cartesian.product = true
該屬性不允許笛卡爾積操作

第三步:得出最終結果:
思路:
拿出course字段中的每一個元素在id_courses中進行判斷,看是否存在。

複製代碼

select id,
case when array_contains(id_courses, courses[0]) then 1 else 0 end as a,
case when array_contains(id_courses, courses[1]) then 1 else 0 end as b,
case when array_contains(id_courses, courses[2]) then 1 else 0 end as c,
case when array_contains(id_courses, courses[3]) then 1 else 0 end as d,
case when array_contains(id_courses, courses[4]) then 1 else 0 end as e,
case when array_contains(id_courses, courses[5]) then 1 else 0 end as f 
from id_courses;

複製代碼

回到頂部

五、求月銷售額和總銷售額

1、數據說明

(1)數據格式

複製代碼

a,01,150
a,01,200
b,01,1000
b,01,800
c,01,250
c,01,220
b,01,6000
a,02,2000
a,02,3000
b,02,1000
b,02,1500
c,02,350
c,02,280
a,03,350
a,03,250

複製代碼

(2)字段含義

店鋪,月份,金額

2、數據準備

(1)創建數據庫表t_store

複製代碼

use class;
create table t_store(
name string,
months int,
money int
) 
row format delimited fields terminated by ",";

複製代碼

(2)導入數據

load data local inpath "/home/hadoop/store.txt" into table t_store;

3、需求

編寫Hive的HQL語句求出每個店鋪的當月銷售額和累計到當月的總銷售額

4、解析

(1)按照商店名稱和月份進行分組統計

create table tmp_store1 as 
select name,months,sum(money) as money from t_store group by name,months;

select * from tmp_store1;

(2)對tmp_store1 表裏面的數據進行自連接

create table tmp_store2 as 
select a.name aname,a.months amonths,a.money amoney,b.name bname,b.months bmonths,b.money bmoney from tmp_store1 a 
join tmp_store1 b on a.name=b.name order by aname,amonths;

select * from tmp_store2;

(3)比較統計

select aname,amonths,amoney,sum(bmoney) as total from tmp_store2 where amonths >= bmonths group by aname,amonths,amoney;

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章