原创 嘗試flume配置文件從啓動命令接收參數
接着上一篇flume接收數據傳入hbase。 這次的目的是： flume配置文件sink指定hbase的表名可以當成參數進行接收，以便於能隨外部切換hbase不同的表。 例如在test.conf中 a1.sources = r1
2020-07-05 09:15:56
2
原创 Flink Table API和SQL的分析及使用（一）
Flink針對標準的流處理和批處理提供了兩種關係型API：Table API 和 SQL。Table API 可以直接進行select、filter、join等操作；Flink SQL則是基於Apache Calcite實現標準的
2020-07-05 09:15:56
4
原创 Flink Table API和SQL的分析及使用（二）
案例：讀取Csv文件中的內容，打印到控制檯 a.csv zs,15 ww,18 ls,20 package com.example; import org.apache.flink.api.common.typeinfo.T
2020-07-05 09:15:55
原创 centos7配置可訪問外網網絡
修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no #這裏設置爲靜態
2020-02-26 07:02:49
原创 Get 與 Post 的區別
Get 和 Post 是從客戶端瀏覽器向服務器發送數據參數的 HTTP 方法。這些參數可以是表單的輸入、搜索標籤的查詢等。每當網頁需要響應給用戶相應的響應，或者我們甚至將其稱爲用戶交互網頁，這些 HTTP 方法就扮演了一個重要的角
2020-02-26 07:02:49
原创 centos7靜默（無圖形界面版）本地離線安裝oracle
系統版本爲CentOS Linux release 7.6.1810 (Core)，私有云服務器 一、掛載iso文件及修改本地yum源 1.先在私有云web界面上掛載iso文件 CentOS-7-x86_64-DVD-1810.i
2019-10-26 13:10:26
原创 flink讀取kafka數據保存到redis
測試階段採用了三臺虛擬機，一臺爲master，兩臺爲slave，已經在集羣安裝好了flink，kafka，zookeeper，redis。flink沒有采用高可用模式，所以不需要hadoop，需要注意redis因爲沒有安裝集羣模式
2019-08-08 10:57:35
27
原创 VMWare虛擬機中Ubuntu 16.04 (linux無桌面)配置靜態IP上網
參考：https://www.cnblogs.com/ddbear/p/7743617.html 基礎環境說明 虛擬機： VMWare 12.5.2 操作系統： Ubuntu 16.04 (無桌面) 物理主機操作系統： win
2019-08-03 10:58:23
2
原创 Java多線程機制
進程：程序的一次動態加載過程，包括了代碼加載，編譯，執行，結束的一個完整過程 線程：線程是比進程更小的單位，行爲很像進程，一個進程在執行過程中可以產生多個線程 多線程序機制：每個java程序都有一個主線程，當jvm加載代碼，發現ma
2018-12-25 15:58:02
原创 python術語表
交互模式：shell界面模式 腳本：.py文件程序 腳本模式：運行.py文件程序 模塊：一個包含相關函數以及其他定義的集合文件 泛化：給函數添加參數的過程 接口：描述函數如何使用的說明 重構：重寫函數，修改代碼，改善接口以及代碼質量的
2018-12-07 14:31:04
原创 flume接收kafka數據，設置偏移量
kafka官方文檔中對於它的偏移解釋： auto.offset.reset 解釋： What to do when there is no initial offset in Kafka or if the current off
2018-11-19 23:55:39
原创 嘗試flume配置文件從外部接收參數
接着上一篇flume接收數據傳入hbase。 這次的目的是： flume配置文件sink指定hbase的表名可以當成參數進行接收，以便於能隨外部切換hbase不同的表。 例如在test.conf中 a1.sources = r1 a1
2018-11-14 00:18:33
12
原创 flume接收數據傳入hbase，並生成指定的rowkey和column
接口源碼文章：https://blogs.apache.org/flume/entry/streaming_data_into_apache_hbase 參考博客：https://blog.csdn.net/m0_37739193/a
2018-11-14 00:18:33
原创 spark讀取和存儲jdbc數據庫
框架 import java.sql.{DriverManager, SQLException} import org.apache.spark.sql.DataFrame //讀取數據(讀取出來的數據爲dataframe格
2018-11-03 23:54:40
1