原创 SpringMVC 5.0 請求映射匹配核心源碼解讀 （SpringMVC 5.x 與 SpringMVC 4.x 對比）
本文出處： 深入理解SpringMVC 5.0 —— 請求映射匹配核心源碼解讀（SpringMVC 5.x 與 SpringMVC 4.x 對比） https://blog.csdn.net/whdxjbw/article/detai
2018-08-30 15:01:14
原创 Sqoop全量數據導入、增量數據導入、併發導入 （Sqoop進階）
Sqoop支持兩種方式的全量數據導入和增量數據導入，同時可以指定數據是否以併發形式導入。下面依次來看： 全量數據導入 就像名字起的那樣，全量數據導入就是一次性將所有需要導入的數據，從關係型數據庫一次性地導入到Hadoop中（可以是HDF
2018-08-30 15:01:10
原创 利用Redis實現異步消息隊列優化系統性能 （Redis高級應用）
寫在前面 今天把之前在項目中使用 Redis 做異步消息隊列的使用經驗總結一下。首先明確使用目的，因爲項目中，我們進行某個操作後可能後續會有一系列的其他耗時操作，但是我們不希望將主線程阻塞在此過程中，這時便可將其他操作異步化。舉個栗子，當
2018-08-30 15:01:10
原创 HBase二級索引實踐（帶你感受二級索引的力量）
hyper_table之前HBase SQL BulkLoad環節創建的，我們將數據通過BulkLoad方式導入預先分好Region的hyper_table表中。具體參考如下博文： HBase中利用SQL BulkLoad快速導入數據
2018-08-30 15:01:09
原创 搭建TDH商業大數據平臺社區版（附其他主流商業大數據平臺下載彙總）
大數據核心原理與實踐專欄 說明： TDH社區版還挺好用的，無限量續簽許可證，如果大家只是想玩玩兒大數據平臺，或者剛入行大數據想練手，那麼TDH社區版就夠用了，避免了你前期安裝一系列Hadoop組件的麻煩。 想當年，筆者不知道有一站式大
2018-08-30 15:01:09
原创 螞蟻金服風險大腦-支付風險識別天池大賽 —— 賽後總結
週末這幾天都忙着東奔西跑，比賽也在週末結束了，故現來總結一波。這次報名螞蟻金服風險大賽主要是爲了做個案例，用商業發行版TDH大數據平臺社區版+可拖拽式快速人工智能平臺Sophon來完成。 數據預處理（編碼2分鐘+運
2018-08-30 15:01:09
15
原创 HBase系列(二)：HBase架構及讀寫流程
本篇博文從分析HBase架構開始，首先從架構中各個組成部分開始，接着從HBase寫入過程角度入手，分析HFile的Compaction合併、Region的Split分裂過程及觸發機制。 架構分析 1、HMaster 負責管理HBase
2018-08-30 15:01:09
原创 flume+kafka+slipstream實現黑名單用戶訪問實時監測
說明 之前說過，關於flume和kafka的實踐操作就不單獨拿出來講了，打算用一個案例將兩者結合，同流式計算一起在具體案例中講述。 本篇博文案例背景：用戶訪問系統會留下一條條訪問記錄（除了姓名和身份證號外，還包括ip地址、登陸地點、設備等
2018-08-30 15:01:09
原创 SpringBoot啓動報org.springframework.boot.test.context、org.springframework.test.context.junit4不存在的解決方案
問題描述： org.springframework.boot.test.context does not exist org.springframework.test.context.junit4.SpringJUnit4ClassRun
2018-08-30 15:01:09
原创 kafka無法收到flume採集的數據的解決辦法
問題重現 在寫黑名單那篇博文的時候，我是通過直接copy log日誌文件到監控目錄下的方式來模擬數據的，在前幾次模擬訪問日誌文件的時候挺正常的，copy進去基本都是秒採集（文件顯示直接加了.COMPLETED後綴）。 但到後來再往採集目錄
2018-08-30 15:01:09
原创 markdown使用說明
歡迎使用Markdown編輯器寫博客 本Markdown編輯器使用StackEdit修改而來，用它寫博客，將會帶來全新的體驗哦： Markdown和擴展Markdown簡潔的語法 代碼塊高亮 圖片鏈接和圖片上傳 LaTex數學公式 UM
2018-08-30 15:01:08
原创 SpringBoot 2.x 整合 MyBatis （簡單優雅）
創建項目 兩種方式創建SpringBoot工程。 方式一：IDEA中創建SpringBoot工程，依次選擇要添加的模塊。 方式二：通過訪問 Spring Initializr 在線創建，再本地導入。這裏我們選用第二種方式。 SPRIN
2018-08-30 15:01:08
原创 Sqoop從mysql導入數據至HDFS操作（sqoop初級）
後面文章打算用flume + kafka + SlipStream流處理結合起來做一個黑名單訪問實時監測數據案例，所以就不單獨介紹每個組件具體的用法了，直接在實戰中讓大家直觀感受下在生產環境中這些組件是如何配套使用的。由於Sqoop比
2018-08-30 15:01:08
原创 HBase系列(三)：利用SQL BulkLoad快速導入海量數據
HBase BulkLoad概述 直接用put命令將海量數據導入至HBase會耗費大量時間（HFile合併、Region分割等），而且用原生的put命令導入海量數據，會佔用HRegionServer很多資源，HBase集羣會變得壓力山大，
2018-08-30 15:01:08
原创 HBase系列(一)：HBase表結構及數據模型的理解
專欄：大數據核心原理與實踐 HBase適用場景 首先在搞HBase之前我們要對其建立感性認識，其適用場景如下： 併發、簡單、隨機查詢。 （注：HBase不太擅長複雜join查詢，但可以通過二級索引即全局索引的方式來優化性能，後續博
2018-08-30 15:01:08