原创 hive計算時間差
參考：https://blog.csdn.net/sinat_40431164/article/details/80813978 1、首先String to Date格式 yyyy-MM-dd to_date(from_unixtim
2019-08-05 21:54:28
1
原创 前端Table數據導出到Excel中
一、實現原理： 1. 前端查詢列表數據並渲染至table(<table>...</table>)表格 2. 表格html代碼傳輸至後臺 3. 後臺把html轉成Excel輸出流返回前端 4. 前端自動調用下載器完成下載 注：因爲渲染之後的
2019-07-31 22:45:09
原创 kylin問題記錄
1、kylin可以先全量cube再增量cube嗎 回答：不可以；要麼全量，要麼增量 解決方案：建立兩個mode，在增量mode中的Model Designer的最後一步Settings來添加分割時間列;再建立兩個cube---一個相同的全
2019-07-16 21:43:51
1
原创 hive按年月實現動態分區
set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict 創建動態分區表：testtable1 CREATE TABLE
2019-07-10 23:24:08
原创 CDH安裝kylin集羣
參考:https://blog.csdn.net/eyeofeagle/article/details/88991967 安裝環境：cdh5.12.0 kylin:apache-kylin-2.6.2-bin-cdh57.tar.gz 下
2019-06-20 00:15:32
原创 superset嵌入到靜態頁面報錯because it set 'X-Frame-Options' to 'sameorigin'
1、選擇charts的url 2、把url嵌入到靜態頁面 <!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <meta http-equiv="X-Frame-O
2019-06-11 02:58:10
原创 Superset二次開發便宜前端代碼遇到的問題
進入到superset/static/assets目錄 執行命令： [root@cdh-node01 assets]# npm install 報錯信息： 安裝的node版本node-v10.15.3-linux-x64.tar.x
2019-06-11 02:58:10
2
原创 Linux下安裝Superset
1、安裝python3 Anaconda3-2019.03-Linux-x86_64.sh 2、安裝superset依賴包 yum install gcc gcc-c++ libffi-devel python-devel python-
2019-05-14 02:30:18
2
原创 spark sql 讀取hbase中數據保存到hive
新建SaprkReadHbase類： package sparksql import java.util.Properties import org.apache.hadoop.hbase.HBaseConfiguration imp
2019-04-25 20:26:08
原创 轉換爲isoDate時間格式
import java.text.DateFormat; import java.text.SimpleDateFormat; import java.time.Instant; import java.util.Date; impor
2019-04-02 22:34:10
2
原创 Cloudera Manager API v18
介紹 本文檔描述了Cloudera Manager REST API。å所有請求和響應都以Javascript對象表示法(JSON)表示。 下面列出的API資源遵循標準的createread-update - delete (CRUD)語
2019-03-29 22:44:29
8
原创 hbase shell命令進不去
hbase shell命令報錯信息 日誌信息顯示 解決方案： echo 0 > /proc/sys/vm/overcommit_memory 參考： http://www.bubuko.com/infodetail-2
2019-03-25 22:44:43
原创 Hadoop在安裝snappy過程中的問題
Linux2.6.32-504.el6 hadoop-2.7.3 jdk1.8.0_171 問題： 測試機中已經有一套搭建好了的Hadoop集羣，所以在往生產環境部署Hadoop集羣時，直接將測試機中編譯好的Hadoop版本上傳到生產
2019-03-13 20:23:20
5
原创 Unable to load native-hadoop library for your platform...
在執行hdfs命令時，會有一個警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin
2019-03-13 20:23:20
4
原创 sqoop 導oracle數據到hbase character string buffer too small
發現問題出在寫的sql語句中的：to_char(dbms_lob.substr(A.OPSDESC,4000)) 原因分析 在對CLOB進行的TO_CHAR處理，可以理解爲將CLOB中存儲的信息轉換成varchar2，然後在進行展現
2019-03-09 16:33:38
5