原创 org.springframework.http.converter.HttpMessageNotReadableException
前端代碼如下： export const apiStopDebug = (data = {}) => new Promise((resolve, reject) => { try{ request.post(`/
2020-07-02 21:38:49
原创 react區分不同生產環境
if (process.env.NODE_ENV === 'production') { return `https://****.*****.com/#/dashboard/${row.dashboardId}
2020-07-02 21:38:49
原创 SQL查詢按照3分鐘間隔分組統計
SELECT FLOOR((window_start/1000)/180)*180*1000 as window_start, SUM(vip_first_view_by_doris) from kela_doris_vip_firs
2020-07-02 21:38:49
原创 如何將集羣文件轉換格式-shell指令將GBK文件轉成UTF-8的格式
DATE1=$1;DATE2=$2; hadoop fs -get /user/tianchao/BUS/2017data/$DATE1.csv ./SZT/ #從別人的集羣目錄下載文件到自己的本地文件夾 iconv -f gbk -t
2020-07-02 21:38:49
原创 Hadoop和Spark是兩個不同的分佈式軟件框架
Hadoop和Spark是兩個不同的分佈式軟件框架。hadoop是一個MapReduce框架，在這個框架上可以運行支持map（），combine（），reduce（）函數的作業。mapreduce的範式很適合單趟計算【先map，再re
2020-07-02 21:38:49
原创 Hadoop的性能問題
數據科學家在面對大規模數據分析時，經常需要面對兩類問題 （1）數據緩存：在應用數據挖掘算法時前，數據往往需要進行預處理操作，對數據中一部分不符合要求的數據進行不斷的清洗過濾。而這些清洗工作又不是可以用簡單的線性操作完成的。同時，算法計算
2020-07-02 21:38:49
原创 一次Java代碼優化
記錄一次編寫一個udf的代碼優化記錄； 代碼邏輯：通過將離線訂單數統計量（每天5點更新累計到前一天24：00的量，這裏存在兩種情況，0-5時是累計到前天24時的量，5-24時是累計到昨天24點的量），實時提交訂單統計量（只包含當天和昨天）
2020-07-02 21:38:49
原创 [轉]一些spark調優的經驗
調優的經驗總結 1 輸出信息 在Spark應用裏面可以直接使用System.out.println把信息輸出出來，系統會直接攔截out輸出到spark的日誌。像我們使用的yarn作爲資源管理系統，在yarn的日誌中就可以直接看到這些
2020-02-23 16:19:16
原创 IDEA 運行調試Scala程序，做成jar包放到集羣運行
爲了讓Scala運行起來還是很麻煩，爲了大家方便，還是記錄下來： 1、首先我下載的是IDEA的社區版本，版本號爲15. 2、下載安裝scala插件： 2.1 進入設置菜單。 2.2 點擊安裝JetBrains plugin 2.
2020-02-23 16:19:16
原创 [main]- ERROR 1037 Operands of Regex can be CharArray only :(Name: Regex Type: null Uid: null)
以下是pig命令操作 grunt> sztdata_sub_orignal = LOAD '/datum/szt/subway/20160601' USING PigStorage(',') AS (num:chararray,id:ch
2020-02-23 16:19:16
1
原创 pig ERROR org.apache.pig.Main - ERROR 2997: Encountered IOException. File = does not exist
代碼運行指令 for i in {01..30};do pig -p DATE = 201606$i -p MONTH = 201606 /export/home/wangsheng/pig/caltimesall.pig;done
2020-02-23 16:19:16
原创 Spark代碼調試遇到的錯誤Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:
以下是我調試出現的錯誤提示： Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 17/08/28 15:07:48 INFO
2020-02-23 16:19:16
1
原创 一些Linux高級指令
1.日誌查詢類 1.1 按關鍵字不分頁查詢 grep"applyId” app.log //applyId爲要查詢的關鍵字，app.log爲日誌名 1.2 按關鍵字從前往後分頁查詢 cat-n app.log | grep "appl
2020-02-23 16:19:16
原创 CAJ安裝的小問題-安裝提示創建進程失敗
前兩天更換了一臺新主機，然後重新安裝一下CAJ，下載的是caj7.2的版本一直安裝不了，提示創建進程失敗，需要重新確認之類的。我就百度了好久，嘗試用很多方法，也下載了幾個其他的版本，都不行。最後，我想着，從任務管理器中去查看進程，能看到c
2020-02-23 16:19:06
原创 梳理--如何使用GitHub管理自己的代碼
首先下載一個GitHub desktop 鏈接如下： https://desktop.github.com/ 圖表如下 當然註冊得先註冊，然後登陸桌面版GitHub 選擇file -->add local 選擇自己的工程文件目
2020-02-23 16:19:06