原创 我只是同步了下Redis數據，怎麼就服務癱瘓了？
背景 bug千千萬，今天到我家。 簡要描述：數倉WEB端進行新增事件後，會注入Redis中進行緩存，供給動參服務進行響應各端SDK的請求。 下午，發現海內外redis中存儲的事件數據中僅有停用事件，而沒有啓用事件數據，以爲是個
2020-06-29 17:14:52
原创 通過RDS事件數據同步來看不同軟件工程師的區別
由彼觀彼，而不是由己觀彼。 開始前，扯些許的題外話。我們經常會看到一些類似於初、中、高級軟件工程師的區別的文章，覺得高級會如何，初中級又會如何，我們此次就不區分title，而是通過經驗豐富與否、考慮問題是否全面、做事是否穩重來
2020-06-29 17:14:51
原创 沒有Spring cron時該怎麼定點執行定時任務？
最近有個小需求，在普通Java項目裏面，不能借助於Spring，也不能使用複雜的jar，來實現cron定點定時任務。 通過查詢資料，發現一個好用的工具：hutool <!-- https://mvnrepository.com/a
2020-06-29 17:14:51
原创 考研前夕 — 成人的世界裏沒有那麼多童話
成年人的世界裏，沒有那麼多的童話，也沒有那麼多的逆襲 從《令人心動的offer》聽到柴律說到“成年人的世界裏，沒有那麼多的童話，也沒有那麼多的逆襲”時，回顧過往，不由感慨：從年初確定要備考在職研究生開始，已經臨近統考，這週六（
2020-02-20 16:05:21
1
原创 論掌握一項腳本技術的必要性
工作過程中，我們常常需要對一些我們可能會臨時需要的數據進行清洗或者格式化等處理。這個時候就需要藉助於一些奇淫技巧或者一些工具，諸如Windows平臺下的notepad++，Mac/Linux平臺下的vim等。 最近大數據部在進行成
2020-02-20 16:05:21
原创 Nacos自動刷新配置如何實現的？
鑑於文章太長，圖片資源過多。從我的個人博客處理後轉到CSDN這裏，實在麻煩，所以直接附上鍊接吧。 【技術挑戰】Nacos自動刷新配置如何實現的？ 點贊 收藏 分享 文章舉報
2020-02-20 16:05:21
原创 爲何EasyScheduler升級v1.1.0後定時任務不調度執行？
一、背景 EasyScheduler升級v1.1.0後，進行任務測試，發現只能調度執行新的定時任務，而不能調度舊的定時任務。 二、那麼問題來了 究竟是哪裏出問題了？ 1.我的操作步驟出現了bug？ 2.EasySchedul
2019-10-25 13:44:26
原创 EasyScheduler線上任務調度延遲1小時問題排查
一、背景 早上，暴躁君W來了條信息:"小時計算任務延遲一小時執行,導致應該6點啓動的計算3點數據的任務到7點才被提交執行，而計算4點數據的任務跑了兩次,幫忙排查下這個問題。" 二、那麼問題來了 從上述架構圖我們知道，MasterServe
2019-10-22 23:05:26
原创 年中總結之最後我們都成爲了過往
“聽見，冬天的離開。我在某年某月醒過來，我想、我等、我期待，未來卻不能因此安排。” — 遇見 做完了KingSight的交接工作，隻身走向DW（數倉）。 時間回到2018年7月5日早上，一份內容爲 Rain, Jimina,
2019-08-03 08:54:47
原创 Hive SQL查詢效率提升之Analyze方案的實施
Hive SQL查詢效率提升之Analyze方案的實施 0.簡介 Analyze，分析表（也稱爲計算統計信息）是一種內置的Hive操作，可以執行該操作來收集表上的元數據信息。這可以極大的改善表上的查詢時間，因爲它收集構成表中數據
2019-06-14 18:39:43
3
原创 Airflow[v1.10]任務調度平臺的安裝教程
0.背景 真的是想不通，Airflow不論社區活躍度還是Github的star數都是遠勝於Azkaban還有EasyScheduler的，但是爲何卻連一個完備的安裝教程都沒有呢？是我的需求太高？真的是心累不已，整整把搜索引擎還有
2019-06-14 18:39:43
6
原创 瞭解一下數據倉庫
0.什麼是數據庫？ 數據庫（DB）是按照數據結構來組織、存儲和管理數據的建立在計算機存儲設備上的倉庫 數據庫是長期存儲在計算機內、有組織的、可共享的數據集合。數據庫中的數據指的是以一定的數據模型組織、描述和儲存在一起、具有
2019-06-11 22:09:40
原创 Hive SQL查詢效率提升之Analyze方案的實施
0.簡介 Analyze，分析表（也稱爲計算統計信息）是一種內置的Hive操作，可以執行該操作來收集表上的元數據信息。這可以極大的改善表上的查詢時間，因爲它收集構成表中數據的行計數，文件計數和文件大小（字節），並在執行之前將其提供
2019-06-11 22:09:40
2
原创 基於Hadoop的數據倉庫
1 什麼是數據倉庫 數據倉庫是面向主題的、集成的、具有時間特徵的、穩定的數據集合，用以支持經營管理中的決策制定過程 典型應用: 報表生成 數據分析 數據挖掘 數據倉庫其他特徵 數據量非常大（TB以上） 是數據庫的
2019-06-11 22:09:40