原创 重讀 Google File System

前言 本着常讀常新的原則,最近又一次閱讀了Google三架馬車之一的《Google File System》。它裏面的一些設計思想,實現原則以及取捨,時至今日仍很有參考價值。 今夜,讓我們一起來聽(讀)相聲(經典)吧! 注:下文中我們將Go

原创 Linux Signal 一網打盡

Linux Signal 一網打盡 前言 Linux Signal想畢很多人都用過,比如在命令行下想要結束某個進程,我們會使用kill pid或者kill -9 pid,其實就是通過給對應的進程發送信號來完成。 Linux signal

原创 Linux PID 一網打盡

Linux PID 一網打盡 前言 Linux 進程 PID 大家都知道,top命令就可以很容易看到各個進程的 PID, 稍進一步top -H,我們還能夠看到各個線程的ID, 即TID。今天我們想深入到Linux Kernel, 看一看在

原创 Socket編程中的幾點問題總結

Socket編程中的幾點問題總結 epoll_ctl中 epoll_event參數設置 對於 EPOLLERR和EPOLLHUP,不需要在epoll_event時針對fd作設置,一樣也會觸發; EPOLLRDHUP實測在對端關閉時會觸發

原创 Apache Bookkeeper的簡單讀寫例子

先上源碼: https://github.com/DavidLiuXh/ExampleBank/tree/master/apache-bookkeeper/bk-test 源碼包括 Bookkeeper客戶端讀寫的簡單例子 如何編譯 如

原创 Linux 啓動流程 -- 按下電源後發生的那些事兒

寫在前面 從按下電源到Linux完全啓動,發生的事情有太多太多,細節也太多太多,這裏我們不會那麼深入細節,但力求理清整體的脈絡; 這裏暫時只會介紹到 體系結構無關部分的初始化和體系結構相關部分的初始化,這兩部分具體細節我們會在以後的學習中

原创 使用mvn創建java工程的極簡教程

最近開始集中精力搞java的開源項目,在這時記錄一下使用mvn創建java工程的比較簡單的流程,以備不時之需,適用於我等java小白~~~ 文中相關代碼已上傳: https://github.com/DavidLiuXh/Example

原创 如何確定Kafka集羣適當的topics/partitions數量

在一個Kafka集羣中如何選擇topics/partitions的數量 翻譯自How to choose the number of topics/partitions in a Kafka cluster? ,同時結合了Benchmark

原创 Linux中斷一網打盡(1) —— 中斷及其初始化

[toc] Linux中斷一網打盡 —— 中斷及其初始化 前情提要 通過本文您可以瞭解到如下內容: Linux 中斷是什麼,如何分類,能幹什麼? Linux 中斷在計算機啓動各階段是如何初始化的? 中斷是什麼 既然叫中斷, 那我們首先就

原创 Zookeeper的日誌配置

前提 zookeeper使用廣泛,作爲接近於開箱即用的一個服務,其日誌的配置貌似沒有作得很方便,接下來我們總結下這個日誌配置的方法 配置日誌 我們的目的是配置zk的日誌產生在我們設定好的目錄中。 log4j.properties zook

原创 Filebeat 收集日誌的那些事兒

Filebeat 收集日誌的那些事兒 前言 最近因爲雲原生日誌收集的需要,我們打算使用Filebeat作爲容器日誌收集工具,並對其進行二次開發。開源日誌收集組件衆多,之所以選擇Filebeat,主要基於以下幾點: 功能上能滿足我們的需求:

原创 Apache BookKeeper的 基礎類庫 - BufferedChannel

BufferedChannel簡介 BufferedChannel 封裝了 FileChannel, 在將數據寫入FileChannel前增加了一個ByteBuf的緩存,相應的讀取時也需要根據讀取開始的位置決定是從文件(FileChnan

原创 Apache BookKeeper中數據目錄分析

Apache BookKeeper中數據目錄分析 需要落盤的數據 Journals 這個journals文件裏存儲的相當於BookKeeper的事務log或者說是寫前log, 在任何針對ledger的更新發生前,都會先將這個更新的描述

原创 Apache BookKeeper之MetaData管理

MetaData信息 這裏主要有兩類 有效的Bookie的列表 用來跟蹤哪些Bookie是有效的 Ledger的相關信息 其相關操作如下: createLedger: 創建一個新的Ledger, 它擁有一個唯一ID和當前的V

原创 Apache Bookkeeper 源碼分析 --- Content Table

Apache Bookkeeper的啓動流程解析 Apache Bookkeeper 的網絡框架