原创 如何利用JAVA自定義一個線程池
先來一張圖 主線程往阻塞隊列中PUT 任務（TASK,這裏我們可以認爲是一個RUNNABLE） 線程池衝阻塞隊列中獲取任務，如果線程池中的線程滿了就需要等待某個線程任務執行完成並釋放後再從隊列中獲取數據 我們自定義的線程池分爲以下
2020-06-19 10:32:39
原创 Flink SQL快速構建實時計算平臺
1 描述 利用FLINK SQL 構建一個數據實時分析平臺,主要包含以下兩個需要實現的需求點 1 FLINK SQL 從KAFKA消費數據，並將數據寫入到ES 通過KIBANA查詢 2 FLINK SQL 從KAFKA消費數據，計算每十分
2020-06-19 09:22:29
原创 利用Flink遷移MYSQL數據Demo
環境 1 Flink 1.4.1 2 java 1.8+ 3 mysql 5.7+ Demo需求 利用Flink從MYSQL數據庫遷移數據並對數據進行處理後將數據遷移到另一個MYSQL庫 案例代碼 package com.big
2020-06-19 09:22:29
原创 Flink 整合 Nacos實現動態服務配置功能Demo
1 前言 當我們開發Flink程序的時候一些配置或一些規則可能需要根據系統要求或需求發生變更，一般常見的做法我們可以開啓通過將配置或規則存儲到數據庫（如MYSQL,REDIS），然後通過在程序中我們自己通過JDBC連接的方式去讀取規則。這
2020-06-19 09:22:29
3
原创 成爲一個卓越JAVA開發者的10個步驟
1 基礎好和理解OOP原理 對於java開發者來說，必須要很好的理解面向對象編程。如果對面向對象編程理解不到位,就不能理解類似於java這樣面向對象編程語言的優美之處。如果你不能理解OOP的好處，即使你目前使用OOP編程，也是在使用過程的
2020-06-19 09:22:29
原创 解析SparkStreaming和Kafka集成的兩種方式
spark streaming是基於微批處理的流式計算引擎，通常是利用spark core或者spark core與spark sql一起來處理數據。在企業實時處理架構中，通常將spark streaming和kafka集成作爲整個大數據
2020-06-19 09:22:29
原创 Neo4j Cypher -> 介紹
本章包含了完整的，權威的Cypher查詢語言文檔 簡介 簡短的介紹可以查閱Section 3.1.1, “What is Cypher?， 查看Section 2.2, “Get started with Cypher”.獲得Cypher
2020-05-31 09:03:08
原创 利用JAVA代碼獲得各操作系統內存
各系統獲取系統內存的指令 系統 命令 window wmic memorychip get capacity linux cat /proc/meminfo mac sysctl hw.memsize FreeBSD sysctl hw
2019-09-05 06:26:45
原创 一文搞懂 Flink 的 Exactly Once 和 At Least Once【總結】
一文搞懂 Flink 的 Exactly Once 和 At Least Once https://mp.weixin.qq.com/s/ZbDzxDgd9phmNIVhNhXImw Barrir總結 1 Source會自動的插入一個B
2019-08-10 06:55:49
2
原创 Yammer Metrics的使用
Yammer Metrics簡介 最近用到的某個框架，其官網提到利用Yammer Metrics來測量系統運行狀態，需要對其統計的具體參數有個基本的瞭解，OK，那就需要弄清幾個簡單的問題： Yammer Metrics是什麼？ Y
2018-12-23 14:14:32
15
原创 Neo4J 圖形數據庫安裝
下載Neo4j：neo4j-community-3.4.10-unix.tar.gz 下載地址：https://neo4j.com/download-center/#releases 解壓 neo4j-community-3.4.10
2018-11-28 13:01:04
原创 Streaming(DataStream API): 概念介紹
Streaming(DataStream API) 原文參考: https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/datastream_api.html#col
2018-09-21 06:06:33
原创 SHELL編程筆記
1 普通變量 略 2 系統專用變量 shell在初始化的時候會在執行profile等初始化腳本，腳本中定義了一些環境變量，這些變量會在創建子進程時傳遞給子進程。 用env命令可以查看當前的環境變量。常用的系統環境變量如下： _
2018-09-21 06:06:33
原创 分佈式系統的事務處理
當我們在生產線上用一臺服務器來提供數據服務的時候，我會遇到如下的兩個問題： 1）一臺服務器的性能不足以提供足夠的能力服務於所有的網絡請求。 2）我們總是害怕我們的這臺服務器停機，造成服務不可用或是數據丟失。 於是我們不得不對我們的服務器進
2018-09-13 10:12:09