原创 ftp_FileZilla Server安裝配置
1、下載 2、安裝 注意：要以管理員身份安裝； 3、打開 4、新增用戶 5、測試登錄 Windows徽標鍵+R打開運行窗口
2020-05-09 23:24:56
原创 Oracle(plsql)數據導入導出
一、plsql導出表結構 注意： (1)可以選擇1至N個表結構導入到一個sql腳本里； (2)plsql導出表結構，只能導成sql腳本； 二、plsql到出表數據 1、導出dmp文件格式 注意： （1）此方式會將帶有數據的表結構
2020-05-02 08:42:55
原创 kafka Eagle頁面功能介紹
一，整體界面 1、導航欄 2、中間欄 二、支持sql查詢界面 三、向topic發送數據 [root@master bin]# ./kafka-console-consumer.sh --zookeeper master:2181
2020-04-29 12:57:24
原创 kafka監測工具kafka Eagle的安裝
1、下載 下載kafka-eagle-bin-1.2.4.tar.gz並放到/opt/softWare/kafkaEagle目錄下 2、解壓並進入解壓文件夾 [root@master kafkaEagle]# tar -zxvf kaf
2020-04-29 12:57:24
原创 Kafka Streams之WordCount
一、實現流程 1、注意 Kafka中的數據都以<key, value>的形式存在。 2、wordCount流程 (1)Stream 從topic中取出每一條數據記錄 （<key, value>格式）： <null, "Spark and
2020-04-27 03:53:44
原创 Exec source、Spooldir Source和Taildir Source的比較
Exec source 適用於監控一個實時追加的文件，但不能保證數據不丟失； Spooldir Source 能夠保證數據不丟失，且能夠實現斷點續傳，但延遲較高，不能實時監控； Taildir Source 既能夠實現斷點續傳，又可以保證
2020-04-24 03:19:10
3
原创 項目日誌(slf4j + logback)
一、項目環境及說明 1、項目環境 springBoot2.X Slf4j + logback 日誌框架結合 2、說明 在項目中日誌輸出是很重要的一項，能夠方便以後問題的排查。下面的演示是在springBoot2.x的基礎上進行Slf4j
2020-04-24 03:19:10
原创 flume+kafka實時監控log日誌
一、提前環境準備 1、zookeeper 2、kafka 3、flume 4、帶日誌輸出的任意程序 二、需求說明 使用flume的exec source實時監控某個程序的日誌打印，並實時輸出到kafka; 三、具體操作 1、在conf下新
2020-04-24 03:19:10
1
原创 Kafka日誌的清除策略
一、說明 Kafka將消息存儲在磁盤中，爲了控制磁盤佔用空間的不斷增加就需要對消息做一定的清理操作。Kafka中每一個分區partition都對應一個日誌文件，而日誌文件又可以分爲多個日誌分段文件，這樣也便於日誌的清理操作。Kafka提供
2020-04-24 03:19:10
原创 大數據常用數據處理框架
數據處理方式 組件 實時流數據採集 flume,kafka 實時流數據處理 sparkStreaming,storm 實時數據查詢處理 impala 批數據導入導出 Sqoop 批數據查詢處理 hive
2020-04-24 03:19:10
原创 Flume使用Spooling Directory Source採集文件夾數據到hdfs
一、需求說明 flume監控linux上一個目錄(/home/flume_data)下進入的文件，並寫入hdfs的相應目錄下(hdfs://master:9000/flume/spool/%Y%m%d%H%M) 二、新建配置文件 1、在c
2020-04-24 03:19:10
原创 flume使用Taildir Source採集文件夾數據到hdfs
一、說明 1、此方式適合生產環境； 2、Taildir Source 是Apache flume1.7新推出的，但是CDH Flume1.6做了集成； 3、Taildir Source是高可靠（reliable）的source，他會實時的
2020-04-24 03:19:10
原创 Kafka的數據存儲
一、基本概念 1、Broker：消息中間件處理結點，一個Kafka節點就是一個broker，多個broker可以組成一個Kafka集羣； 2、Topic：一類消息，Kafka集羣能夠同時負責多個topic的分發； 3、Partition：
2020-04-24 03:19:10
原创 Flume的基礎技術理論
一、flume介紹 1、Flume 最早是Cludera提供的日誌收集系統，後貢獻給Apache; 2、Flume 是一個分佈式的海量日誌採集，聚合，轉移工具; 3、Flume的開發語言爲java; 4、Flume的工作流程：source
2020-04-24 03:19:10
原创 springBoot遠程調用restFul接口(RestTemplate)
1、需求說明 有兩個springBoot項目： 項目A將數據讀到HashMap內存中並提供restFul接口供其他程序調用獲取map數據； 項目B則負責先讀取A中的map數據，再做其他邏輯操作； 下面則只介紹項目B的具體實現； 2、測試代
2020-04-16 04:04:59