Data Lake Analytics中OSS LOCATION的使用說明

前言
Data Lake Analytic（後文簡稱 DLA）可以幫助用戶通過標準的SQL語句直接對存儲在OSS、TableStore上的數據進行查詢分析。

在查詢前，用戶需要根據數據文件的格式和內容在DLA中創建一張表。Data Lake Analytics + OSS數據文件格式處理大全 一文中介紹瞭如何定義表的SERDE和ROW FORMAT。

本文將以存儲在OSS上的文件爲例詳細介紹如何指定表LOCATION。

LOCATION
DLA中的建表語句的語法爲

CREATE EXTERNAL TABLE [IF NOT EXISTS] [db_name.]table_name
[(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[ROW FORMAT row_format]
[STORE AS file_format]
| STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]
LOCATION oss_path
其中 LOCATION可以是數據文件本身，也可以是數據文件所在的目錄。

LOCATION是數據文件
建表時可以將表直接關聯到數據文件，此時的LOCATION需要是該文件在OSS上的絕對路徑。
例如：

CREATE EXTERNAL TABLE loc_file_csv(
N_NATIONKEY INT,
N_NAME STRING,
N_REGIONKEY INT,
N_COMMENT STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
STORED AS TEXTFILE
LOCATION 'oss://my-bucket/datasets/test/test_create/create_table/csv/dir1/dir2/nation.csv';
LOCATION是目錄
LOCATION也可以指向OSS上的目錄，該目錄下的文件即是表的數據文件。
建表時，可以通過設置屬性 recursive.directories 來控制是遍歷該目錄下的所有數據文件。默認或不顯式指定recursive.directories，DLA會解析爲false，即不遍歷。

例如，OSS上的目錄結構爲

2018-07-05 11:16:11 1752.00B Standard oss://my-bucket/datasets/test/test_create/create_table/csv/dir1/dir2/nation.csv
2018-07-05 11:15:57 1752.00B Standard oss://my-bucket/datasets/test/test_create/create_table/csv/dir1/nation.csv
2018-07-05 11:16:17 1752.00B Standard oss://my-bucket/datasets/test/test_create/create_table/csv/nation.csv
建表語句爲：

CREATE EXTERNAL TABLE loc_file_csv(
N_NATIONKEY INT,
N_NAME STRING,
N_REGIONKEY INT,
N_COMMENT STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
STORED AS TEXTFILE
LOCATION 'oss://my-bucket/datasets/test/test_create/create_table/csv/'
TBLPROPERTIES ('recursive.directories' = 'false');
當recursive.directories=false，該表的數據文件爲只有LOCATION下的nation.csv一個文件，即

oss://my-bucket/datasets/test/test_create/create_table/csv/nation.csv
建表語句爲：

CREATE EXTERNAL TABLE loc_file_csv(
N_NATIONKEY INT,
N_NAME STRING,
N_REGIONKEY INT,
N_COMMENT STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
STORED AS TEXTFILE
LOCATION 'oss://my-bucket/datasets/test/test_create/create_table/csv/'
TBLPROPERTIES ('recursive.directories' = 'true');
當recursive.directories=true，該表的數據文件爲LOCATION目錄下及其子目錄下的所有csv文件，即

oss://my-bucket/datasets/test/test_create/create_table/csv/nation.csv
oss://my-bucket/datasets/test/test_create/create_table/csv/dir1/nation.csv
oss://my-bucket/datasets/test/test_create/create_table/csv/dir1/dir2/nation.csv
注意事項
當LOCATION爲目錄時，DLA默認該目錄下的數據文件爲相同的數據格式，並根據建表語句中指定的SERDE解析文件。當目錄下的數據文件格式不同時，DLA會解析失敗，導致表中的數據信息錯誤，影響查詢結果。
例如，建表時指定STORED AS TEXTFILE，但是目錄下除了csv文件，還有orc格式的文件。這種情況下，在建表和查詢時並不會報錯，但是SELECT時可能會看到數據亂碼或不準確。

目前不支持CSV文件有header。當文件的第一行爲header時，需要用戶自己手動處理數據；否則，會將header識別爲一條數據記錄
爲了給大家帶來更好的查詢分析體驗， 目前DLA還在不斷完善中，歡迎大家試用，提出您的寶貴意見或建議。