零拷貝技術原理詳解

首先聲明一個概念,通常說的零拷貝技術準確來說應該表達爲:用戶態零拷貝技術。

一、什麼是零拷貝技術?

1.首先明確計算機數據傳輸過程

寫一個小程序,完成一個從文件中讀取數據,並傳輸到網絡上的操作。

首先我們在操作系統中找到這個文件,然後把數據先讀到緩衝區,最後把緩衝區的數據發送到網絡上。

現在我們考慮一下,這個數據從電腦到網絡整個傳輸的過程,如下圖描述:

DMA copy:DMA Direct Memory Access 直接存儲器訪問。DMA是指外部設備不通過CPU而直接與系統內存交換數據的接口技術。

CPU copy:CPU通過系統總線與其他部件連接並進行數據傳輸。

現在我們可以看到1->2->3->4的整個過程一共經歷了四次拷貝的方式,但是真正消耗資源和浪費時間的是第二次和第三次,因爲這兩次都需要經過我們的CPU拷貝,而且還需要內核態和用戶態之間的來回切換。想想看,我們的CPU資源是多麼寶貴,要處理大量的任務。還要去拷貝大量的數據。如果能把CPU的這兩次拷貝給去除掉,豈不快哉!!!既能節省CPU資源,還可以避免內核態和用戶態之間的切換。

這裏還要先說一下用戶態和內核態的區別:

  • 處於用戶態執行時,進程所能訪問的內存空間和對象受到限制,其所處於佔有的處理器是可被搶佔的

  • 處於內核態執行時,則能訪問所有的內存空間和對象,且所佔有的處理器是不允許被搶佔的。

2、優化方案

要去除第二次和第三次之間的拷貝,Linux開發人員也早就注意到了這個問題,於是在linux 2.1內核中,添加了 “數據被copy到socket buffer”的動作,於是我們的javaNIO,可以直接調用transferTo()的方法,就可以實現這種現象。

現在一看,感覺性能資源都得到了很大的提升,不過現在還不並不是完美的。因爲這三次拷貝還用到了CPU的拷貝技術,就是第二次。不過不要擔心。Linux開發人員比我們更加深謀遠慮。

3.零拷貝優化方案

在Linux2.4 內核做了優化,取而代之的是Scatter/Gather DMA方式。只包含關於數據的位置和長度的信息的描述符被追加到了socket buffer 緩衝區中。DMA引擎直接把數據從內核緩衝區傳輸到協議引擎(protocol engine),從而消除了最後一次CPU copy。

Scatter/Gather DMA方式會預先維護一個物理上不連續的塊描述符的鏈表,描述符中包含有數據的起始地址和長度。傳輸時只需要遍歷鏈表,按序傳輸數據,全部完成後發起一次中斷即可,效率更高。也就是說,硬件可以通過Scatter/Gather DMA直接從內核緩衝區中取得全部數據,不需要再從內核緩衝區向Socket緩衝區拷貝數據。經過上述過程,數據只經過了2次copy就從磁盤傳送出去了。這個纔是真正的Zero-Copy。

這裏的零拷貝其實是根據內核狀態劃分的,在這裏沒有經過CPU的拷貝,數據在用戶態的狀態下,經歷了零次拷貝,所以才叫做零拷貝,但不是說不拷貝。文章開始爲大家明確的概念現在應該明白了吧。

二、哪些地方會用到零拷貝技術

1、java的NIO

先說java,是因爲要給下面的netty做鋪墊,在 Java NIO 中的通道(Channel)就相當於操作系統的內核空間(kernel space)的緩衝區,而緩衝區(Buffer)對應的相當於操作系統的用戶空間(user space)中的用戶緩衝區(user buffer)。

堆外內存(DirectBuffer)在使用後需要應用程序手動回收,而堆內存(HeapBuffer)的數據在 GC 時可能會被自動回收。因此,在使用 HeapBuffer 讀寫數據時,爲了避免緩衝區數據因爲 GC 而丟失,NIO 會先把 HeapBuffer 內部的數據拷貝到一個臨時的 DirectBuffer 中的本地內存(native memory),這個拷貝涉及到 sun.misc.Unsafe.copyMemory() 的調用,背後的實現原理與 memcpy() 類似。最後,將臨時生成的 DirectBuffer 內部的數據的內存地址傳給 I/O 調用函數,這樣就避免了再去訪問 Java 對象處理 I/O 讀寫。

(1)MappedByteBuffer

MappedByteBuffer 是 NIO 基於內存映射(mmap)這種零拷貝方式的提供的一種實現,意思是把一個文件從 position 位置開始的 size 大小的區域映射爲內存映像文件。這樣之添加地址映射,而不進行拷貝。

(2)DirectByteBuffer

DirectByteBuffer 的對象引用位於 Java 內存模型的堆裏面,JVM 可以對 DirectByteBuffer 的對象進行內存分配和回收管理,是 MappedByteBuffer 的具體實現類。因此同樣具有零拷貝技術。

(3)FileChannel

FileChannel 定義了 transferFrom() 和 transferTo() 兩個抽象方法,它通過在通道和通道之間建立連接實現數據傳輸的。

我們直接看Linux2.4的版本,socket緩衝區做了調整,DMA帶收集功能。

(1)DMA從拷貝至內核緩衝區

(2)將數據的位置和長度的信息的描述符增加至內核空間(socket緩衝區)

(3)DMA將數據從內核拷貝至協議引擎

這個複製過程是零拷貝過程。

2、Netty

Netty 中的零拷貝和上面提到的操作系統層面上的零拷貝不太一樣, 我們所說的 Netty 零拷貝完全是基於(Java 層面)用戶態的。

(1)Netty 通過 DefaultFileRegion 類對FileChannel 的 tranferTo() 方法進行包裝,相當於是間接的通過java進行零拷貝。

(2)我們的數據傳輸一般都是通過TCP/IP協議實現的,在實際應用中,很有可能一條完整的消息被分割爲多個數據包進行網絡傳輸,而單個的數據包對你而言是沒有意義的,只有當這些數據包組成一條完整的消息時你才能做出正確的處理,而Netty可以通過零拷貝的方式將這些數據包組合成一條完整的消息供你來使用。

此時零拷貝的作用範圍僅在用戶空間中。那Netty是如何實現的呢?爲此我們就要找到Netty進行數據傳輸的接口,這個接口一定包含了可以實現零拷貝的功能,這個接口就是ChannelBuffer。

既然有接口肯定就有實現類,一個最主要的實現類是CompositeChannelBuffer,這個類的主要作用是將多個ChannelBuffer組成一個虛擬的ChannelBuffer來進行操作

爲什麼說是虛擬的呢,因爲CompositeChannelBuffer並沒有將多個ChannelBuffer真正的組合起來,而只是保存了他們的引用,這樣就避免了數據的拷貝,實現了Zero Copy。

(3)ByteBuf 可以通過 wrap 操作把字節數組、ByteBuf、ByteBuffer 包裝成一個 ByteBuf 對象, 進而避免了拷貝操作

(4)ByteBuf 支持 slice 操作, 因此可以將 ByteBuf 分解爲多個共享同一個存儲區域的 ByteBuf,避免了內存的拷貝

3、kafka

Kafka 的索引文件使用的是 mmap + write 方式,數據文件使用的是 sendfile 方式。適用於系統日誌消息這種高吞吐量的大塊文件的數據持久化和傳輸。

如果有10個消費者,傳統方式下,數據複製次數爲4*10=40次,而使用“零拷貝技術”只需要1+10=11次,一次爲從磁盤複製到頁面緩存,10次表示10個消費者各自讀取一次頁面緩存。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章