原创 解決IDEA Language level默認爲5.0問題
解決idea Language level默認爲5.0問題 maven pom.xml文件引入以下插件 <build> <plugins> <plugin>
2020-04-27 21:11:03
原创 使用sqoop從Hive導數到Oracle
使用sqoop從Hive導數到Oracle 導數命令： sqoop export \ --table U_CL_CTL.MID_ORDER_VIP_LEVEL_CHANGE_MA \ --connect jdbc:oracle:t
2020-02-21 00:22:20
原创 Linux學習 文件系統、用戶及權限（二）
Linux學習 文件系統、用戶及權限（二） 文件系統 FHS： Filesystem Hierarchy Standard /bin：所有用戶可用的基本命令程序文件； /sbin：供系統管理使用的工具程序； /boot：引導
2019-08-28 16:04:36
1
原创 Linux學習（一）
Linux學習（一） 命令行接口 [root@node1 ~]# COMMAND prompt： root: 當登錄的用戶 node1: 當前主機的主機名，非完整格式；此處的完整格式爲：node1.ma
2019-08-02 15:45:45
1
原创 StreamSets 實時同步mysql數據到kudu
StreamSets 實時同步mysql數據到kudu 初始化數據 業務庫下的表 wm.admin_user_app wm.department 1.在hive創建數據庫; CREATE DATABASE zxl_db; CREA
2019-07-06 15:48:45
7
原创 create table ...as備份表和create table xxx like xxx 複製表結構
使用create table …as備份表 源表建表語句 CREATE TABLE dc_ods.miu_company_member_acct_itme_info_ods ( acctitemid STRING, mem
2019-06-20 16:09:37
2
原创 /etc/profile 和~/.bash_profile區別
/etc/profile 和~/.bash_profile區別 /etc/profile 爲系統的每個用戶設置環境信息和啓動程序，當用戶第一次登錄時，該文件被執行，其配置對所有登錄的用戶都有效。當被修改時，重啓或使用命令 sou
2019-06-10 17:01:13
原创 CDH6.0初始化pyspark Error while instantiating org.apache.spark.sql.hive.HiveSessionStateBuilder
CDH 集羣中初始化pyspark 報錯"Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’:" CDH 集羣中初始化pysp
2019-06-10 17:01:13
原创 Linux命令
Linux命令 查看磁盤分區情況 # df -h Filesystem Size Used Avail Use% Mounted on /dev/sda3 50G 42G 8.3G 84%
2019-05-21 15:55:35
原创 數據庫SQL語句
數據庫SQL語句 mysql查詢字段信息 show full fields from db_name.table_name; Field Type Collation Null Key Default Extra Privile
2019-05-21 15:55:35
原创 Hive基本操作
Hive基本操作 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 庫操作 創建庫 進入終端 beeline -u " jdbc:hive2:/
2019-05-15 00:10:14
1
原创 msck、invalidate metadata和refresh命令
hive 分區表msck命令 通常是通過alter table add partition方式增加Hive的分區的，但有時候會通過HDFS put/cp命令往表目錄下拷貝分區目錄，如果目錄多，需要執行多條alter語句，非常麻煩
2019-05-10 23:50:45
3
原创 Mysql建庫,建表,創建用戶,授權
建庫 CREATE DATABASE `wm` CHARACTER SET 'utf8mb4' COLLATE 'utf8mb4_general_ci'; USE `wm`; 建表 DROP TABLE IF EXISTS `adm
2019-05-10 23:50:45
1
原创 Hive基本使用
Hive基本使用 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 庫操作 創建庫 # 進入終端 beeline -u " jdbc:hive2:/
2019-04-25 19:19:29
原创 Hive簡介
文章目錄Hive簡介Hive特點Hive 和 RDBMS 的對比Hive的架構Hive的數據組織Hive 數據類型 Hive簡介 1、Hive 由 Facebook 實現並開源 2、是基於 Hadoop 的一個數據倉庫工具 3、可以將
2019-04-25 19:19:29