原创 分佈式消息隊列ActiveMQ
消息隊列的使用場景 削峯填谷：當下遊的數據處理不過來的時候，可以先把消息緩存到一個地方，再進行慢速消費 異步化緩衝：有些業務邏輯實時性要求不高，只需要做到最終一致性，類似柔性的事務 服務解耦：服務的拆分和隔離，需要看業務是強依
2020-06-16 02:52:33
原创 Spark Stream集成Flume實現詞頻統計（Pull方式）
使用Pull方式的優點 Spark Stream集成Flume有兩種方式： Push-based Approach Pull-based Approach 那麼我們在生產中該選擇哪種方式呢？讓我們來看看官網是怎麼說的 由此可
2020-06-16 02:52:33
原创 編譯Spack源碼
版本說明 Hadoop：2.6.0-cdh5.15.1 JDK：1.8.0 Spark：2.4.4 Maven：Spark源碼內置，路徑：spark-2.4.4/build/mvn 以上軟件都需要提前設置好環境變量，但是Maven
2020-06-16 02:52:33
原创 Kafka單節點多Broker部署
版本 kafka_2.11-2.0.0 zookeeper-3.4.5-cdh5.15.1 前提 安裝好zookeeper並啓動服務 配置config/server.properties 下載並解壓後，在config目錄下可
2020-06-16 02:52:33
原创 分佈式消息隊列RocketMQ
初識 RocketMQ RocketMQ是一款分佈式、隊列模型的消息中間件，由阿里巴巴自主研發的一款適用於高併發、高可靠性、海量數據場景的消息中間件。早期開源2.x版本名爲MetaQ；15年迭代3.x版本，更名爲RocketMQ，
2020-06-16 02:52:33
原创 Yarn的兩種deploy-mode模式
區別 yarn 有兩種模式，分別是 client 和 cluster，那麼它們有什麼區別呢？ Driver的運行位置： client：Driver運行在Client端（即提交作業的機器）； cluster：Driver運行在A
2020-06-16 02:52:33
原创 SparkStream整合Flume和Kafka
版本說明 apache-flume-1.6.0-cdh5.15.1-bin kafka_2.11-0.9.0.0 scala-2.11.12 apache-maven-3.3.9 spark-2.4.4-bin-2.6.0-cd
2020-03-14 08:40:44
原创 Flume實戰案例之整合Kafka實現日誌採集
目標 將A服務器上的日誌實時採集到B服務器 技術選型 版本說明 flume：apache-flume-1.6.0-cdh5.15.1-bin kafka：kafka_2.11-0.9.0.0 配置文件 A服務器Flume配置文件
2020-03-03 01:13:00
原创 HBase的安裝部署
前提 已經安裝好hadoop和zookeeper 下載 本次採用的是cdn版本，下載地址，版本是hbase-1.2.0-cdh5.15.1 解壓，配置環境變量 解壓命令： tar -zxvf hbase-1.2.0-cdh5.15
2020-03-03 01:13:00
原创 jquery操作select控件
設置以 value 值選中：$("#select_id").val("xx"); 設置以 text 值選中： $("#select_id").find("option[text='xx']").attr("selected
2020-02-25 22:48:47
原创 阿里雲部署Hadoop僞分佈
常見版本 不收費的Hadoop版本主要有三個（均是國外廠商），分別是：Apache（最原始的版本，所有發行版均基於這個版本進行改進）、Cloudera版本（Cloudera’s Distribution Including Apa
2020-02-25 22:48:47
原创 大數據存儲格式和壓縮格式的比較
存儲格式 衆所周知，大數據有兩種存儲格式：行存儲、列存儲，下面我們就來比較一下這兩種存儲格式的區別。首先來看一下兩種格式的數據排列方式： 行存儲數據排列 列存儲數據排列 性能比較 兩種存儲格式都有各自的優缺點：行存儲的寫入是一
2020-02-25 22:48:47
原创 分佈式計算框架MapReduce
編程模型之核心概念 Split InputFormat OutputFormat Combiner：map端的聚合操作 Partitoner：決定MapTask輸出的數據由哪裏ReduceTask處理。默認實現：Key.hash
2020-02-25 22:48:47
原创 Spark SQL操作外部數據源之Hive
貼個圖記錄一下 -- 查詢所有表 scala> spark.sql("show tables").show -- 查詢‘emp’表數據 scala> spark.table("emp").show -- 統計每個部門的人數 s
2020-02-25 22:48:47
原创 SpringMVC基本配置
web.xml文件 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee"
2020-02-25 22:48:47