原创 Spring中Filter和Interceptor的區別
Interceptor 主要作用：攔截用戶請求，進行處理，比如判斷用戶登錄情況、權限驗證，只要針對Controller請求進行處理，是通過HandlerInterceptor。 Interceptor分兩種情況，一種是對會話的攔截，實現s
2019-04-02 23:55:04
原创 kafka系列詳解-性能與存儲篇（持續更新完善中）
存儲在Kafka文件存儲中，同一個topic下有多個不同partition，每個partition爲一個目錄，partiton命名規則爲topic名稱+有序序號，第一個partiton序號從0開始，序號最大值爲partitions數量減1
2018-08-25 18:39:38
1
原创 Hive優化系列之Map與Reduce數量選擇
注意，以下操作都是針對非分桶表map數量算法MapTask的個數=輸入文件總大小/分片尺寸，個人理解就是輸出的文件數量原因：系統對輸入的源文件依照Block的尺寸分片，並在執行Job時安排一個Map Task處理一個Block的或者由ma
2018-08-25 18:39:17
9
原创 Kafka系列詳解-基礎概念與核心設計（持續更新完善中）
核心概念topic:對消息（message）歸類;例如，在網頁活動跟蹤中，每個活動種類（包括網頁瀏覽、搜索、點擊等）的消息都可以發佈到一個各自的topic中Topic和Producer發佈給一個topic的消息可以在Kafka集羣中分割成
2018-08-25 18:38:52
4
原创 Hive優化原則-策略-過程簡述（持續更新完善中）
原則優化時把握整體，單個作業最優不如整體最優合理控制map reduce數量減少job數量（合併，大的分拆）合併小文件避免傾斜從表連接的角度優化：儘量使用內連接，因爲內連接是兩表都滿足的行的組合，而外連接是以其中一個表的全部爲基準從索引的
2018-08-25 18:38:49
1