原创 Spring Boot 和Dataway實現

一、介紹   依託 DataQL 服務聚合能力，爲應用提供一個 UI 界面。並以 jar 包的方式集成到應用中。 通過 Dataway 可以直接在界面上配置和發佈接口。 這種模式的革新使得開發一個接口不必在編寫任何形式的代碼，只需

2020-05-18 23:28:51

原创 開源運維平臺

一、openspug 介紹： 系統包含代碼發佈部署，主機管理，主機批量執行，環境管理，配置管理，任務計劃管理等。後續還有監控報警等。 開源地址： https://github.com/openspug/spug 二、CoDo開源一

2020-05-18 23:28:51

原创 延時隊列方式

一、（定期輪詢或者無限循環）實現延遲任務（數據庫、緩存、Map、List、線程、線程池等） 待續… import java.time.Instant; import java.time.LocalDateTime; import

2020-05-14 00:29:34

原创 全鏈路追蹤與微服務網關

一、Tracing Analysis 介紹： 鏈路追蹤（TracingAnalysis）爲分佈式應用的開發者提供了完整的調用鏈路還原、調用請求量統計、鏈路拓撲、應用依賴分析等工具。能夠幫助開發者快速分析和診斷分佈式應用架構下的性能

2020-05-12 07:00:08

原创 實現操作日誌2中方式

一、基於AOP（切面）或者攔截器 傳統的實現方案 優點：實現思路簡單； 缺點：增加數據庫的負擔，強依賴前端的傳參，不方便拓展，不支持批量操作，不支持多表關聯； 優化缺點: 但是這個缺點可以換成Elasticsearch進行存儲與

2020-05-11 04:15:43

原创 前端腳手架與策略者模式

一、策略者模式 package com.citydo.faceadd.decoratormode; public abstract class Attack implements GameRoleInterface {

2020-04-22 23:28:22

原创 Apache kylin WEB界面操作說明

一、題記 Apache kylin 提供了一個非常好用的 Web 界面，通過 web 界面可以將 hive 表裏面的數據同步到 kylin 中。基於 Hive 表構建 model（模型）、cube（多維立方體）。通過配置 Mand

2020-04-20 00:53:13

原创 Spring AOP 操作日誌實現

一、註解 import org.springframework.core.annotation.AliasFor; import java.lang.annotation.*; /** * 日誌註解類 * 使用方式 @Lo

2020-04-20 00:53:13

原创 Apache Flink API

一、Apache Flink API Flink 提供了不同級別的抽象來開發流 / 批處理應用程序。 二、SQL： Flink 提供的最高級別的抽象是 SQL。這種抽象在語義和表達方式上均類似於 Table API，但是將程序表

2020-04-20 00:53:13

原创 阿里開源人臉識別API

一、項目 二、jar包導入 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=

2020-04-19 07:09:13

原创 Apache Spark Streaming 實戰

原理 （Streamming ） Spark Streaming 是核心 Spark API 的擴展，支持可擴展，高吞吐量，實時數據流的容錯數據流處理。可以從 sources（如 Kafka、Flume、Kinesis、或者 TC

2020-04-19 07:09:13

原创 Flume採集數據利器

一、什麼是Flume Apache Flume 是一個分佈式、高可靠、高可用的用來收集、聚合、轉移不同來源的大量日誌數據到中央數據倉庫的工具。Flume 可以做離線也可以做實時分析。 二、Flume架構 如圖所示： Agent就

2020-03-23 00:45:20

原创 數據隔離與數倉分層

一、數據隔離 數據隔離可以包含物理隔離與數據隔離2種，其中有多租戶隔離、數據源隔離、共享數據表隔離、分片隔離等待。 二、數據隔離方法 隔離方式 成本 支持數量 優點 缺點 實現方式 多租戶隔離 低 非常多 維護與成本

2020-03-17 23:21:30

原创 客戶端負載均衡、中間件對比

一、目前用最多的項目 作用 用得最多 成功的替代項目 正在推進替代項目 服務發現 Eureka Consul、Zookeeper Alibaba Nacos 負載均衡器 Ribbon、Nginx、SLB、F5 、

2020-03-16 04:36:39

原创 Cloudera Manager平臺

一、Cloudera Manager平臺 0、簡介： 通過Cloudera Manager，可以輕鬆管理生產中任何規模的Cloudera部署。通過直觀的UI快速部署，配置和監視羣集-包括滾動升級，備份和災難恢復以及可自定義的警報。

2020-03-16 04:36:39