Netty源碼解析-概述篇

本文是由code4craft發表在博客上的,原文基於Netty3.7的版本,源碼部分對buffer、Pipeline、Reactor模式等進行了部分講解,個人又繼續新增了後續的幾個核心組件的源碼解讀,新增了具體的案例。
Netty的源碼非常好,質量極高,是Java中質量最高的開源項目之一,(比Spring系列源碼高幾層樓...)
我十分建議大家花上一週時間自習讀一讀。

概述

Netty是什麼

大概用Netty的,無論新手還是老手,都知道它是一個“網絡通訊框架”。所謂框架,基本上都是一個作用:基於底層API,提供更便捷的編程模型。那麼"通訊框架"到底做了什麼事情呢?回答這個問題並不太容易,我們不妨反過來看看,不使用netty,直接基於NIO編寫網絡程序,你需要做什麼(以Server端TCP連接爲例,這裏我們使用Reactor模型):

  1. 監聽端口,建立Socket連接
  2. 建立線程,處理內容

    1. 讀取Socket內容,並對協議進行解析
    2. 進行邏輯處理
    3. 回寫響應內容
    4. 如果是多次交互的應用(SMTP、FTP),則需要保持連接多進行幾次交互
  3. 關閉連接

建立線程是一個比較耗時的操作,同時維護線程本身也有一些開銷,所以我們會需要多線程機制,幸好JDK已經有很方便的多線程框架了,這裏我們不需要花很多心思。

此外,因爲TCP連接的特性,我們還要使用連接池來進行管理:

  1. 建立TCP連接是比較耗時的操作,對於頻繁的通訊,保持連接效果更好
  2. 對於併發請求,可能需要建立多個連接
  3. 維護多個連接後,每次通訊,需要選擇某一可用連接
  4. 連接超時和關閉機制

想想就覺得很複雜了!實際上,基於NIO直接實現這部分東西,即使是老手也容易出現錯誤,而使用Netty之後,你只需要關注邏輯處理部分就可以了。

體驗Netty

這裏我們引用Netty的example包裏的一個例子,一個簡單的EchoServer,它接受客戶端輸入,並將輸入原樣返回。其主要代碼如下:

    public void run() {
        // Configure the server.
        ServerBootstrap bootstrap = new ServerBootstrap(
                new NioServerSocketChannelFactory(
                        Executors.newCachedThreadPool(),
                        Executors.newCachedThreadPool()));

        // Set up the pipeline factory.
        bootstrap.setPipelineFactory(new ChannelPipelineFactory() {
            public ChannelPipeline getPipeline() throws Exception {
                return Channels.pipeline(new EchoServerHandler());
            }
        });

        // Bind and start to accept incoming connections.
        bootstrap.bind(new InetSocketAddress(port));
    }

這裏EchoServerHandler是其業務邏輯的實現者,大致代碼如下:

    public class EchoServerHandler extends SimpleChannelUpstreamHandler {

        @Override
        public void messageReceived(
                ChannelHandlerContext ctx, MessageEvent e) {
            // Send back the received message to the remote peer.
            e.getChannel().write(e.getMessage());
        }
    }

還是挺簡單的,不是嗎?

Netty背後的事件驅動機制

完成了以上一段代碼,我們算是與Netty進行了第一次親密接觸。如果想深入學習呢?

閱讀源碼是瞭解一個開源工具非常好的手段,但是Java世界的框架大多追求大而全,功能完備,如果逐個閱讀,難免迷失方向,Netty也並不例外。相反,抓住幾個重點對象,理解其領域概念及設計思想,從而理清其脈絡,相當於打通了任督二脈,以後的閱讀就不再困難了。

理解Netty的關鍵點在哪呢?我覺得,除了NIO的相關知識,另一個就是事件驅動的設計思想。什麼叫事件驅動?我們回頭看看EchoServerHandler的代碼,其中的參數:public void messageReceived(ChannelHandlerContext ctx, MessageEvent e),MessageEvent就是一個事件。這個事件攜帶了一些信息,例如這裏e.getMessage()就是消息的內容,而EchoServerHandler則描述了處理這種事件的方式。一旦某個事件觸發,相應的Handler則會被調用,並進行處理。這種事件機制在UI編程裏廣泛應用,而Netty則將其應用到了網絡編程領域。

在Netty裏,所有事件都來自ChannelEvent接口,這些事件涵蓋監聽端口、建立連接、讀寫數據等網絡通訊的各個階段。而事件的處理者就是ChannelHandler,這樣,不但是業務邏輯,連網絡通訊流程中底層的處理,都可以通過實現ChannelHandler來完成了。事實上,Netty內部的連接處理、協議編解碼、超時等機制,都是通過handler完成的。當博主弄明白其中的奧妙時,不得不佩服這種設計!

下圖描述了Netty進行事件處理的流程。Channel是連接的通道,是ChannelEvent的產生者,而ChannelPipeline可以理解爲ChannelHandler的集合。

event driven in Netty

開啓Netty源碼之門

理解了Netty的事件驅動機制,我們現在可以來研究Netty的各個模塊了。Netty的包結構如下:

org
└── jboss
    └── netty
        ├── bootstrap 配置並啓動服務的類
        ├── buffer 緩衝相關類,對NIO Buffer做了一些封裝
        ├── channel 核心部分,處理連接
        ├── container 連接其他容器的代碼
        ├── example 使用示例
        ├── handler 基於handler的擴展部分,實現協議編解碼等附加功能
        ├── logging 日誌
        └── util 工具類

在這裏面,channelhandler兩部分比較複雜。我們不妨與Netty官方的結構圖對照一下,來了解其功能。

components in Netty

具體的解釋可以看這裏:http://netty.io/3.7/guide/#architecture。圖中可以看到,除了之前說到的事件驅動機制之外,Netty的核心功能還包括兩部分:

  • Zero-Copy-Capable Rich Byte Buffer

    零拷貝的Buffer。爲什麼叫零拷貝?因爲在數據傳輸時,最終處理的數據會需要對單個傳輸層的報文,進行組合或者拆分。NIO原生的ByteBuffer無法做到這件事,而Netty通過提供Composite(組合)和Slice(切分)兩種Buffer來實現零拷貝。這部分代碼在org.jboss.netty.buffer包中。
    這裏需要額外注意,不要和操作系統級別的Zero-Copy混淆了, 操作系統中的零拷貝主要是用戶空間和內核空間之間的數據拷貝, NIO中通過DirectBuffer做了實現.

  • Universal Communication API

    統一的通訊API。這個是針對Java的Old I/O和New I/O,使用了不同的API而言。Netty則提供了統一的API(org.jboss.netty.channel.Channel)來封裝這兩種I/O模型。這部分代碼在org.jboss.netty.channel包中。

此外,Protocol Support功能通過handler機制實現。

接下來的文章,我們會根據模塊,詳細的對Netty源碼進行分析。

參考資料:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章