pandas方法to_csv生成的數據導入hive方法彙總

step0:建表語句(hive腳本)

USE databasename;
CREATE TABLE OrderQuantity_Forecast_Table(
     masterhotel int COMMENT '酒店ID',
     orderdate string COMMENT '訂單日期',
     city   int COMMENT '城市ID',
     y_bar double COMMENT '產量預測值')
comment '訂單間夜量預測結果輸出表'
PARTITIONED BY(d STRING COMMENT '日期分區')
row format delimited fields terminated by '\t'
stored as TextFile; 
 
step1:樣例數據生成(python腳本)
output_values.to_csv("output_values.txt", header=False, index=False,sep='\t')

step2:導入hive方式
## Hive-Shell形式

load data local inpath 'output_values.txt' into table databasename.OrderQuantity_Forecast_Table partition(d='2016-10-31'); 

## Bash-Shell形式
hive -S -e "load data local inpath 'output_values.txt' into table databasename.OrderQuantity_Forecast_Table partition(d='2016-10-31');

## Python形式

sql="""load data local inpath "output_values.txt" overwrite into table databasename.OrderQuantity_Forecast_Table partition(d="2016-10-31");"""
os.popen("hive -S -e '"+sql+"'")

step3:數據檢查
##檢查數據是否存在
select * 
from databasename.OrderQuantity_Forecast_Table 
where d='2016-10-31'
limit 100;

##刪除分區
use databasename;
alter table OrderQuantity_Forecast_Table drop partition(d='2016-10-31');

##顯示分區
show partitions databasename.OrderQuantity_Forecast_Table;

step4:Linux環境下python後臺運行
nohup python yourscript.py & 可以讓你的程序在後臺運行，控制檯輸出導向nohup.out文件