原创 hive 兩列字符串拼接成一列和空字符串處理
使用函數CONCAT(a,b)可以把兩列字符串拼接 空字符串處理： 在mysql中，ifnull函數的用法，其表達式如下 IFNULL(expr1,expr2) 如果 expr1 不是 NULL，IFNULL() 返回 exp
2020-06-19 19:45:39
原创 hive 計算年齡
if(datediff(b.admission_time, CONCAT(substring(b.admission_time, 0, 4), substring(b.date_of_birth, 5,
2020-06-19 17:37:19
原创 kylin計算兩列時間相差天數
select TIMESTAMPDIFF(day,date'2012-01-01', date '2014-02-01') 執行結果： *****_EXTERNAL兩列時間 ADMISSION_TIME和DISCHARGE_TIME
2020-06-19 17:37:19
原创 kylin漢字亂碼問題
修改hive元數據字段類型： 視圖中有中文字符時，元數據中顯示亂碼，查詢視圖 數據爲空 ，修改hive元數據的這兩個字段的字符編碼解決上述問題。 ALTER TABLE TBLS CHANGE view_expanded_text
2020-06-19 17:37:19
原创 kylin 日期函數處理
參考http://kylin.apache.org/cn/docs/tutorial/sql_reference.html CAST RANGE，INTERVAL 關鍵字指明瞭範圍。PRECEDING 表示前幾天（秒/分/時/月/年）。F
2020-06-03 10:09:54
原创 分分鐘解決HDFS無法啓動的一個小問題------HDFS啓動後一直處於安全狀態
文章轉自：原創： 任航 若澤大數據 問題 : HDFS啓動後一直處於安全狀態 解決過程： 1.查看hadoop namenode的啓動日誌 1STARTUP_MSG: Starting NameNode 2STARTUP_MSG
2020-06-03 10:09:54
原创 sql server 時間格式不同意處理yyyy_m轉換成yyyy_mm
圖中出現了兩種時間格式yyyy_mm和yyyy_m，需要把yyyy_m時間格式轉換成yyyy_mm； 解決方案，通過用cas when 和len函數處理。 select case when len(time)=6 then R
2020-04-26 16:09:09
原创 記錄建hbase對應hive外表坑
建hbase對應hive外表時，把hbase對應字段寫成小寫時，hive外表用select count(*) from hive外表名，統計有條數；但是用select * from hive表時顯示0記錄； 解決問題：建hbase對應hi
2020-04-01 04:10:03
原创 mysql 備份與還原
1、新建shell腳本 mysql_user="root" #MySQL備份用戶 mysql_password="密碼" #MySQL備份用戶的密碼 mysql_host="IP" mysql_port="3306" mysql_cha
2020-02-28 04:36:26
原创 爲什麼要學習軟件架構設計原則
我們爲什麼要學習軟件架構設計原則？ 首先，我們要搞明白什麼是軟件架構設計原則？ 軟件架構設計原則，一共有七個： 1、開閉原則 開閉原則是指一個軟件實體如類，模塊和函數應該對擴展開放，對修改關閉。用抽象構建框架，用實現拓展
2020-02-25 00:36:46
原创 你離可視化酷炫大屏只差一套 Kylin + Davinci
以下文章來源於apachekylin ，作者高亞山、夏邢 什麼是Kylin Kylin 提供與 BI 工具的整合能力，如 Tableau，PowerBI/Excel，MSTR，QlikSense，Hue 和 SuperSet。但就可視化工
2020-02-22 07:24:40
原创 分佈式任務調度平臺XXL-JOB
一、分佈式任務調度概述 什麼是任務調度平臺 任務調度是指基於給定的時間點，給定的時間間隔又或者給定執行次數自動的執行任務。我們可以思考一下在以下場景中，我們應該怎麼實現： 支付系統每天凌晨 1 點，進行一天清算，每月 1 號進行上個月清
2020-02-22 07:24:40
原创 DBeaver連接ClickHouse實操
DBeaver和ClickHouse已經安裝好。 DBeaver連接ClickHouse需要開放遠程訪問權限。 先查看ClickHouse server端監聽端口的狀態： [root@cdh-node001 clickhouse-ser
2019-10-25 23:41:52
25
原创 從hive導入數據到clickhouse中
一、從hive中導出csv格式的數據： hive -e "select * from tablename limit 1000" | tr "\t" "," > /opt/hadoop/tablename.csv 二、把csv格式的數據
2019-10-25 23:41:52
原创 kylin中的sum統計結果爲null處理
select SUM(***—_NUM) as num from ***_** WHERE ***_DATE = '2019-08-06 00:00:00.0' 在8月6號這天沒有數據時kylin返回null 前端頁面執行報錯返回n
2019-08-07 22:32:38
2