原创 【項目】仿知乎網站項目梳理
GitHub地址：https://github.com/vicotorz/zhangdizhihu 開發流程：DataBase-->Model-->Dao-->Service-->Controller-->Test SQL 建表語句： 評
2020-06-18 23:20:16
原创 Hadoop權威指南：知識梳理（一）
第一章：初識Hadoop MapReduce三大設計目標： 爲只需要短短几分鐘或幾個小時就可以完成的作業提供服務 運行於同一個內部有高速網絡連接的數據中心內 數據中心內的計算器都是可靠的、專門的硬件 提供Hadoop支持的公司：Clo
2020-06-18 23:20:06
原创 【Hive】Hive窗口函數
窗口函數是用於分析用的一類函數，要理解窗口函數要先從聚合函數說起。 聚合函數是將某列中多行的值合併爲一行，比如sum、count等。 窗口函數則可以在本行內做運算，得到多行的結果，即每一行對應一行的值。 語法概括： Function()
2020-06-18 23:20:06
原创 《SRE Google運維解密》讀書筆記
SRE團隊職責： 確保服務可以正常運轉，主要方向包括： 可用性改進 延遲優化 性能優化 效率優化 變更管理 （漸進式發佈） 監控 緊急事務處理 容量規則與管理 （N+2 模式，google--> 15倍） SRE核心處理思想： 災難
2020-06-18 21:28:11
原创 【Hive】Hive補充（HcatLog、CBO、壓縮方式）
參考《Hive實戰》 ASF是一個支持多種軟件開發項目的組織 Hive不是數據庫，而是一個友好且爲我們熟悉的接口，可以查詢存儲在HDFS上的底層數據文件 SerDe：序列化、反序列化 HCatlog促進了各種Hadoop組件之間實現模
2020-06-18 21:28:10
2
原创 【Hive】Hive返回碼狀態含義
返回碼意義： 狀態碼 執行狀態說明 0 job成功執行 1 提交job失敗 或者 job運行時拋出異常時會返回的異常碼 2 提交job和運行job時沒有拋出異常，但是job運行時map階段或者reduc
2020-06-18 21:28:10
原创 【解決方案】【Hive】Hive壓縮文件格式轉換方案
目標：將Hive中已經存在的Lzo壓縮格式錶轉換爲Orc格式，並保證數據不丟失 執行與測試過程： 1. 創建lzo相關表：（驗證過程，可忽略） create external table test_lzo( id int )partit
2020-06-18 21:28:10
原创 jstack + jmap + MAT
jstack： jstack是java虛擬機自帶的一種堆棧跟蹤工具： jstack [-l] pid （pid 可以使用jps查看） 例：jstack 44076 &>$(date +%H%M)_44076.jstack.log
2020-06-18 21:28:10
原创 【設計模式】設計模式梳理
工廠模式： 簡單工廠模式： 定義一個工廠類，根據傳入的參數不同返回不同的實例，被創建的實例具有共同的父類或接口 適用場景： （1）需要創建的對象較少。 （2）客戶端不關心對象的創建過程。 工廠方法模式： 每一個類型設置一個工
2020-06-18 21:28:10
原创 【Shell】Shell腳本併發與調試
Bash Shell實現併發多進程操作 Shell腳本里實現併發操作，需要用到 for循環 &後臺運行符 wait等待所有子進程結束 思路： 我們可以通過寫一個for循環，控制每次需要批量操作的次數，然後封裝一個方法，方法裏進行批量操作，
2020-06-18 21:28:10
原创 Java易忘點梳理
<< 乘 >>除 Collections.shuffle(array); 小寫轉大寫（相差32） c-'0' 基本類型： 32位 64位 char 1 1 char* 4 8 short int 2 2 unsigned i
2020-06-18 21:28:10
原创 【Hive】Hive內核思考--HiveServer2與MetaStore交互
https://imcoder.site/a/detail/HuQSdax;jsessionid=52D29613D30DB508B778A3EC483CD3F7 圖 訪問邏輯： metastore服務可以理解爲就是thrifht服務，h
2020-06-18 21:28:10
原创 【知識梳理】SQL知識梳理
distinct select distinct country from website; limit select * from website limit 2; SQL通配符：% ,_ (代替一個字符), [charlis
2020-06-18 21:28:09
原创 【知識梳理】《Kafka權威指南》知識梳理
第1章 初識Kafka 消息：Kafka數據單元 批次：一組消息 主題：Kafka通過主題進行分類，由於一個主題包含幾個分區，因此無法保證整個主題範圍內消息的順序，但可以保證消息在單個分區內的順序 生產者、消費者：消費者把每個分區最後讀
2020-06-18 21:28:09
原创 Hadoop權威指南：知識梳理（二）
第12章 關於Avro Apache Avro 獨立於編程語言的數據序列化系統，支持壓縮、可切分 意在解決Hadoop中Writable類型的不足：缺乏語言的可移植性 Avro模式 通常用json編寫 Avro有豐富的模式解析能力，讀
2020-06-18 21:28:09
2