原创 Hive使用動態分區問題
過多的動態分區會導致job出現以下情況： org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException: org.ap
2020-06-26 23:55:53
原创 IDEA中scala ClassNotFound問題
剛開始運行scala程序發現NoClassDefFoundError 看到maven引入的libraries引入的是compiler-bundle,下面包含三個jar: >scala-compile >scala-library >s
2020-06-26 23:55:53
1
原创 使用Phoneix踩過的坑
Phoneix是apache下top level的針對HBase的sql引擎，可以方便地使用此以sql形式訪問HBase。我們用它來讀取HBase的數據 性能方面的可以參考官網：http://phoenix.apache.or
2020-06-26 23:55:53
原创 play項目實戰-如何進行upsert操作
本文爲作者原創，轉載請標明出處。原作者：Tony_老七 原文鏈接：http://blog.csdn.net/tonylee0329/article/details/42463211 項目中有進行upsert的需求，查看了現有Model
2020-06-26 23:55:53
原创 如何使用JDK及Linux工具查找進程中最忙的線程
最近一個項目中在測試的時候發現負載總是很多，爲了想看看到底是什麼線程比較佔用CPU 首先先用top查看佔用最高的pid,篩選pid的話可以用項目先用賬戶名（我的是storm） pid => top -u storm|head -n 1
2020-06-26 23:55:53
原创 HiveOptimization--Reduce進程緩慢問題
本文爲作者原創，轉載請標明出處。原作者：Tony_老七 原文鏈接：http://blog.csdn.net/tonylee0329/article/details/27106153 最近對線上一個執行頻率爲半小時的任務進行優化
2020-06-26 23:55:53
原创 HIVE使用CTAS出現void類型字段報錯
最近使用hive CTAS語法時候遇到一個語義級的異常， Hive版本0.13 操作如下：create table temp.ldc_test_b as select case when length(regexp_extract(ev
2020-06-26 23:55:43
原创 如何對Hive UDF進行使用線上數據達到迴歸測試
轉至元轉至元數據起始 本文爲作者原創，轉載請標明出處。原作者：Tony_老七 原文鏈接：http://blog.csdn.net/tonylee0329/article/details/40153055 本地功能測試
2020-02-21 20:09:17
原创 一次調試無法打印日誌問題經歷
問題產生的現象是：storm任務啓動後無日誌輸出(指的是$STORM_HOME/logs下無對應日誌) 控制檯輸出如下： SLF4J: Clas
2020-02-21 20:09:17
原创 使用Apache POI開源包進行Excel讀取
考慮向後兼容以及標準化的問題，我們使用開源工具apache poi進行excel的讀取 POI讀取的時候將cell裏的內容都認爲是double，這個與jxl的默認爲string不一樣 示例代碼： https://github.com
2020-02-21 20:09:17
原创 Play1.x對於日期類型數據的請求和處理
昨天幫一個前端同事調試一個play1.x中日期使用的問題，記錄一下。 場景：前端傳遞採用JS生成的日期插件，做一個model的CRUD。 拿過來調試的時候報錯： Caused by: java.lang.IllegalArgumentE
2020-02-21 20:09:17
原创 storm源碼分析-日誌服務
本文爲作者原創，轉載請標明出處。原作者：Tony_老七 原文鏈接：http://blog.csdn.net/tonylee0329/article/details/40081723 以下基於storm的版本: 0.9.0.1
2020-02-21 20:09:17
原创 lein安裝問題
本文爲作者原創，轉載請標明出處。原作者：Tony_老七 原文鏈接：http://blog.csdn.net/tonylee0329/article/details/40393059 clojure使用lein作爲包管
2020-02-21 20:09:07
2
原创 HiveSQL工程化調用方案
本文主要討論的應用場景是： 通常Hive ETL工程師，寫好HQL語句後，是一個文件，如何把文件組織起來整體運行呢？ 這時就需要一個工具來工程化地執
2020-02-21 20:09:06