原创 Spark metastore 配置 背景和問題 環境信息 Spark SQL自身metastore使用MySQL替換Derby 使用Hive metastore

背景和問題 在使用Spark SQL創建寫入Hudi表的時候出現如下錯誤(錯誤很長，無關部分省略)： ERROR XJ040: Failed to start database 'metastore_db' with class loade

2023-03-20 00:43:56 1

原创 Spring shell 簡易使用指南 前言 環境準備 命令編寫 自定義 配置 單元測試 執行外部命令 參考文獻

前言 Java的很多開源項目中使用到了交互式命令行方式操作。交互式命令行有很多種實現方式。其中Spring shell是一種極其簡單易用的交互式命令行框架。 本篇爲大家帶來使用Spring shell編寫交互式命令行應用的簡易指南。 環境準

2023-01-14 09:15:41

原创 Flink 使用之 Yarn 資源問題排查 Flink 使用介紹相關文檔目錄 前言 典型報錯 確定Flink使用的資源 Yarn資源相關配置 Flink資源計算方法 參考鏈接

Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 前言 Flink作業提交的時候會遇到任務無法提交，或者是長時間處於ACCEPTED狀態。此時需要重點排查Yarn的資源的相關配置。 本篇爲大家帶來Flink on Yarn

2023-01-14 09:15:41 1

原创 Ambari Python 運維腳本執行流程分析 前言 執行邏輯分析

前言 Ambari組件運維的腳本使用了Python。Python是一種腳本型語言，天生跨平臺，不需要編譯，開發和修改維護較爲容易。Ambari使用Python對常見的運維命令進行了封裝。這些運維命令大都位於ambari-common/src

2023-01-08 11:58:27

原创 Zookeeper 3.6.3+ 兼容老版本 rmr 命令的方法 背景 操作步驟 後記

背景 大數據軟件棧中Zookeeper版本從3.4.14升級到3.6.3，其他組件版本暫時未升級。經過試用發現部分組件工作不正常。其中一個原因是Zookeeper 3.6.3版本移除了rmr命令，取而代之的是deleteall命令，存在不兼

2022-12-23 10:19:23

原创 Flink 使用之 SQL Gateway Flink 使用介紹相關文檔目錄 背景 部署服務 配置項 使用

Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 背景 Flink 1.16.0整合了SQL Gateway，提供了多種客戶端遠程併發執行SQL的能力。Flink終於擁有了類似於Spark Thrift server的能力

2022-12-13 17:04:31

原创 Hiveserver2 OOM 問題排查記錄 問題現象 Heap dump 分析 原因分析 問題解決

問題現象 生產環境hiveserver2使用過程中佔用大量內存，甚至將內存上限增大到32G左右後hiveserver2仍會達到內存上限。使用G1GC，單次full GC耗時很長，且絕大部分內存無法被回收（只能回收幾百M內存），然後發生OOM

2022-12-04 23:48:12

原创 Java Heap Dump 分析步驟 前言 配置 Heap Dump文件生成 Heap Dump分析

前言 生產環境中Java應用難免遇到Out Of Memory或內存持續佔用過大的問題。對於此類問題通用的分析方法是對問題進程的heap dump進行分析，重點關注佔用內存較大的對象。本篇爲大家帶來分析Java進程heap dump的方法。

2022-12-01 22:25:07

原创 通過 Spark thriftserver 操作Hudi表 背景 環境準備 驗證 附錄 參考資料

背景 本篇主要講解如何配置Spark thriftserver，從而可以使用JDBC方式通過Spark thriftserver操作Hudi表。 博主的環境信息： Spark 3.1.1 Hive 3.1.0 Hadoop 3.1.1 H

2022-11-26 02:57:32

原创 Windows 10/11使用diskpart遷移引導分區 前言 使用Windows啓動盤啓動系統 使用diskpart遷移EFI分區

前言 在多硬盤的機器安裝Windows系統的時候有可能會出現Windows EFI引導分區和系統本身沒有安裝在同一個硬盤的情況。雖然不影響使用，但在需要更換硬盤時會遇到很多麻煩。本篇爲大家帶來Windows中遷移引導分區的方法。 使用Win

2022-11-22 20:59:14

原创 Nginx Web安全相關配置 前言 HTTP header配置 SSL配置 統一錯誤頁面配置

前言 作者曾經寫過一篇博客：Spring Security 與 HTTP 安全 header。介紹了和安全相關的HTTP響應頭，以及它們在Spring Security中如何配置。儘管Spring Security已經爲我們減少了很多配置工

2022-11-13 20:55:02 1

原创 Hue 編譯安裝和大數據組件集成配置 環境信息

環境信息 因使用要求，需要臨時在集羣中加裝Hue。Hue所在集羣的情況如下： CentOS 7.4 Hue 4.10 Hadoop 3.x Hive 3.x HBase 2.x 本篇記錄Hadoop集羣安裝Hue的全過程。 Hue編譯

2022-11-13 20:55:02

原创 Kyuubi 編譯配置和使用指南 背景 環境信息 編譯 配置 啓動服務 連接Kyuubi 多租戶

背景 Kyuubi是一個基於Spark構建的，針對大規模數據處理分析的，支持統一多租戶的JDBC接口服務。本篇圍繞Kyuubi的編譯，配置，部署和使用展開介紹。 環境信息 CentOS 7.4 Kyuubi 1.6.0-incubatin

2022-11-13 20:55:02

原创 Flink 源碼之 KafkaSource Flink源碼分析系列文檔目錄 前言 KafkaSource創建 數據讀取流程 分區發現 Checkpoint邏輯

Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄 前言 FLIP-27: Refactor Source Interface - Apache Flink - Apache Software Foundation提出

2022-11-13 20:55:02 1

原创 Flink 使用之批模式和流模式 Flink 使用介紹相關文檔目錄 批模式和流模式 配置方式 行爲區別 參考文獻

Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 批模式和流模式 Flink從誕生以來，在設計上一套架構同時支持批模式和流模式。在Flink1.12之前，Flink針對批處理作業和流處理作業分別提供了2套不同的API。用戶

2022-11-13 20:55:02 1