原创 Linux 命令使用筆記【free】
free命令 free 命令可以顯示當前系統未使用的和已使用的內存數目，還可以顯示被內核使用的內存緩衝區。 語法 free(選項) 選項 -b：以Byte爲單位顯示內存使用情況； -k：以KB爲單位顯示內存使用情況； -m：以MB爲
2020-06-12 19:42:49
原创 HDFS 糾刪碼
目的 HDFS 集羣中經常配置的3個副本是很佔用空間的 - HDFS中的默認3x 複製方案在存儲空間和其他資源(例如，網絡帶寬)上有 200%的開銷。但是，對於具有較低 I/O 活動的暖數據集和冷數據集，在正常操作期間很少訪問其他塊副本，
2020-06-10 21:35:56
原创 Linux 命令使用筆記【ulimit】
ulimit 命令 ulimit 命令用來限制系統用戶對 shell 資源的訪問。如果不懂什麼意思，下面一段內容可以幫助你理解： 假設有這樣一種情況，當一臺 Linux 主機上同時登陸了 10 個人，在系統資源無限制的情況下，這 10
2020-06-10 21:35:55
原创 HDFS 聯邦
背景 HDFS 有兩個主要層： Namespace 由目錄、文件和塊組成。 它支持所有與名稱空間相關的文件系統操作，如創建、刪除、修改和列出文件和目錄。 Block Storage Service 分爲兩部分： Block Mana
2020-06-07 16:34:03
原创 Linux 命令使用筆記【w】
w 命令 w 命令用於顯示目前登陸系統的用戶列表，並顯示用戶正在執行的指令。執行這個命令可得知目前登入系統的用戶有那些人，以及他們正在執行的程序。單獨執行 w 命令會顯示所有的用戶，您也可指定用戶名稱，僅顯示某位用戶的相關信息。 語法 w
2020-06-07 16:34:03
原创 Linux 命令使用筆記【uptime】
uptime 命令 uptime 命令能夠打印系統總共運行了多長時間和系統的平均負載。uptime 命令可以顯示的信息顯示依次爲：現在時間、系統已經運行了多長時間、目前有多少登陸用戶、系統在過去的1分鐘、5分鐘和15分鐘內的平均負載。 語
2020-06-07 16:34:03
原创 idea修改git提交到本地分支的代碼的提交註釋備註信息
打開 Git 的 Console 找到本地分支提交記錄 右擊需要修改的記錄 點擊 Edit Commit Message 修改
2020-06-07 16:34:03
原创 Linux 命令使用筆記【top】
top 命令 top 命令可以實時動態地查看系統的整體運行情況，是一個綜合了多方信息監測系統性能和運行信息的實用工具。通過 top 命令所提供的互動式界面，用熱鍵可以管理。 語法 top(選項) 選項 -b：以批處理模式操作； -c：顯
2020-06-07 16:34:03
原创 The YARN Timeline Service v.2
Table of Contents Timeline Service v.2 概述 介紹 架構 現狀和未來計劃 部署 Configuration Basic configuration Advanced configuration Sec
2020-05-15 14:26:42
原创 Hbase 的二級索引
Table of Contents 最終使用協處理器實現一致的二級索引 使用樂觀併發控制的二級索引 hbase-transactional-tableindexed 最終使用協處理器實現一致的二級索引 基本思想是爲主(主)表上的每個索引使
2020-05-15 09:13:31
原创 Hbase Coprocessors 協處理器
Table of Contents Hbase 協處理器的概述 與其他協處理器的比較 Triggers and Stored Procedure MapReduce AOP 協處理器如何實現 Coprocessors類型 觀察者協處理器
2020-05-15 09:13:31
原创 Tez 簡介
Table of Contents Tez 概述 YARN 背景時間線 Tez 如何使用 YARN Timeline YARN Timeline and Hadoop Versions Configuring Tez to use YAR
2020-05-15 09:13:31
14
原创 The YARN Timeline Server
YARN Timeline Server 概述 YARN Timeline Server 介紹 以通用方式存儲和檢索應用程序的當前和歷史信息是通過時間軸服務器在 YARN 中實現的。它有兩項責任： 1、存儲應用程序特定的信息 完全特定於應
2020-05-15 09:13:31
原创 Spark Streaming Custom Receivers
Table of Contents 實現自定義接收器 在Spark流應用程序中使用自定義接收器 Receiver 的可靠性 Spark 流可以從任何數據源接收流數據，除了它內置支持的數據源之外(也就是說，除了Flume、Kafka、Kin
2020-04-25 20:32:34
原创 基於Flink以及Pulsar的StreamSQL的技術實踐
Table of Contents 什麼是StreamSQL 需求 最初的基於kafka的解決方案 無限期地存儲每個域事件 從批處理數據引導物化視圖 回填從Kafka 更新傳入事件 多租戶、回滾和重播、錯誤處理等。 爲什麼用Pulsar
2020-04-10 03:04:03