(一) Java NIO 概述
Java NIO 由以下幾個核心部分組成:
雖然Java NIO 中除此之外還有很多類和組件,但在我看來,Channel,Buffer 和 Selector 構成了核心的API。其它組件,如Pipe和FileLock,只不過是與三個核心組件共同使用的工具類。因此,在概述中我將集中在這三個組件上。其它組 件會在單獨的章節中講到。
Channel 和 Buffer
基本上,所有的 IO 在NIO 中都從一個Channel 開始。Channel 有點象流。 數據可以從Channel讀到Buffer中,也可以從Buffer 寫到Channel中。這裏有個圖示:
Channel和Buffer有好幾種類型。下面是JAVA NIO中的一些主要Channel的實現:
- FileChannel
- DatagramChannel
- SocketChannel
- ServerSocketChannel
正如你所看到的,這些通道涵蓋了UDP 和 TCP 網絡IO,以及文件IO。
與這些類一起的有一些有趣的接口,但爲簡單起見,我儘量在概述中不提到它們。本教程其它章節與它們相關的地方我會進行解釋。
以下是Java NIO裏關鍵的Buffer實現:
- ByteBuffer
- CharBuffer
- DoubleBuffer
- FloatBuffer
- IntBuffer
- LongBuffer
- ShortBuffer
這些Buffer覆蓋了你能通過IO發送的基本數據類型:byte, short, int, long, float, double 和 char。
Java NIO 還有個 Mappedyteuffer,用於表示內存映射文件, 我也不打算在概述中說明。
Selector
Selector允許單線程處理多個 Channel。如果你的應用打開了多個連接(通道),但每個連接的流量都很低,使用Selector就會很方便。例如,在一個聊天服務器中。
這是在一個單線程中使用一個Selector處理3個Channel的圖示:
要使用Selector,得向Selector註冊Channel,然後調用它的select()方法。這個方法會一直阻塞到某個註冊的通道有事件就緒。一旦這個方法返回,線程就可以處理這些事件,事件的例子有如新連接進來,數據接收等。
(二) Channel
Java NIO的通道類似流,但又有些不同:
- 既可以從通道中讀取數據,又可以寫數據到通道。但流的讀寫通常是單向的。
- 通道可以異步地讀寫。
- 通道中的數據總是要先讀到一個Buffer,或者總是要從一個Buffer中寫入。
正如上面所說,從通道讀取數據到緩衝區,從緩衝區寫入數據到通道。如下圖所示:
Channel的實現
這些是Java NIO中最重要的通道的實現:
- FileChannel
- DatagramChannel
- SocketChannel
- ServerSocketChannel
FileChannel 從文件中讀寫數據。
DatagramChannel 能通過UDP讀寫網絡中的數據。
SocketChannel 能通過TCP讀寫網絡中的數據。
ServerSocketChannel可以監聽新進來的TCP連接,像Web服務器那樣。對每一個新進來的連接都會創建一個SocketChannel。
基本的 Channel 示例
下面是一個使用FileChannel讀取數據到Buffer中的示例:
01 |
RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw"); |
02 |
FileChannel inChannel = aFile.getChannel(); |
04 |
ByteBuffer buf = ByteBuffer.allocate(48); |
06 |
int bytesRead = inChannel.read(buf); |
07 |
while (bytesRead != -1) { |
09 |
System.out.println("Read " + bytesRead); |
12 |
while(buf.hasRemaining()){ |
13 |
System.out.print((char) buf.get()); |
17 |
bytesRead = inChannel.read(buf); |
注意 buf.flip() 的調用,首先讀取數據到Buffer,然後反轉Buffer,接着再從Buffer中讀取數據。下一節會深入講解Buffer的更多細節。
(三) Buffer
Java NIO中的Buffer用於和NIO通道進行交互。如你所知,數據是從通道讀入緩衝區,從緩衝區寫入到通道中的。
緩衝區本質上是一塊可以寫入數據,然後可以從中讀取數據的內存。這塊內存被包裝成NIO Buffer對象,並提供了一組方法,用來方便的訪問該塊內存。
下面是NIO Buffer相關的話題列表:
- Buffer的基本用法
- Buffer的capacity,position和limit
- Buffer的類型
- Buffer的分配
- 向Buffer中寫數據
- flip()方法
- 從Buffer中讀取數據
- clear()與compact()方法
- mark()與reset()方法
- equals()與compareTo()方法
Buffer的基本用法
使用Buffer讀寫數據一般遵循以下四個步驟:
- 寫入數據到Buffer
- 調用flip()方法
- 從Buffer中讀取數據
- 調用clear()方法或者compact()方法
當向buffer寫入數據時,buffer會記錄下寫了多少數據。一旦要讀取數據,需要通過flip()方法將Buffer從寫模式切換到讀模式。在讀模式下,可以讀取之前寫入到buffer的所有數據。
一旦讀完了所有的數據,就需要清空緩衝區,讓它可以再次被寫入。有兩種方式能清空緩衝區:調用clear()或compact()方法。clear()方 法會清空整個緩衝區。compact()方法只會清除已經讀過的數據。任何未讀的數據都被移到緩衝區的起始處,新寫入的數據將放到緩衝區未讀數據的後面。
下面是一個使用Buffer的例子:
01 |
RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw"); |
02 |
FileChannel inChannel = aFile.getChannel(); |
04 |
//create buffer with capacity of 48 bytes |
05 |
ByteBuffer buf = ByteBuffer.allocate(48); |
07 |
int bytesRead = inChannel.read(buf); //read into buffer. |
08 |
while (bytesRead != -1) { |
10 |
buf.flip(); //make buffer ready for read |
12 |
while(buf.hasRemaining()){ |
13 |
System.out.print((char) buf.get()); // read 1 byte at a time |
16 |
buf.clear(); //make buffer ready for writing |
17 |
bytesRead = inChannel.read(buf); |
Buffer的capacity,position和limit
緩衝區本質上是一塊可以寫入數據,然後可以從中讀取數據的內存。這塊內存被包裝成NIO Buffer對象,並提供了一組方法,用來方便的訪問該塊內存。
爲了理解Buffer的工作原理,需要熟悉它的三個屬性:
position和limit的含義取決於Buffer處在讀模式還是寫模式。不管Buffer處在什麼模式,capacity的含義總是一樣的。
這裏有一個關於capacity,position和limit在讀寫模式中的說明,詳細的解釋在插圖後面。
capacity
作爲一個內存塊,Buffer有一個固定的大小值,也叫“capacity”.你只能往裏寫capacity個byte、long,char等類型。一旦Buffer滿了,需要將其清空(通過讀數據或者清除數據)才能繼續寫數據往裏寫數據。
position
當你寫數據到Buffer中時,position表示當前的位置。初始的position值爲0.當一個byte、long等數據寫到Buffer後, position會向前移動到下一個可插入數據的Buffer單元。position最大可爲capacity – 1.
當讀取數據時,也是從某個特定位置讀。當將Buffer從寫模式切換到讀模式,position會被重置爲0. 當從Buffer的position處讀取數據時,position向前移動到下一個可讀的位置。
limit
在寫模式下,Buffer的limit表示你最多能往Buffer裏寫多少數據。 寫模式下,limit等於Buffer的capacity。
當切換Buffer到讀模式時, limit表示你最多能讀到多少數據。因此,當切換Buffer到讀模式時,limit會被設置成寫模式下的position值。換句話說,你能讀到之前 寫入的所有數據(limit被設置成已寫數據的數量,這個值在寫模式下就是position)
Buffer的類型
Java NIO 有以下Buffer類型
- ByteBuffer
- MappedByteBuffer
- CharBuffer
- DoubleBuffer
- FloatBuffer
- IntBuffer
- LongBuffer
- ShortBuffer
p<>
如你所見,這些Buffer類型代表了不同的數據類型。換句話說,就是可以通過char,short,int,long,float 或 double類型來操作緩衝區中的字節。
MappedByteBuffer 有些特別,在涉及它的專門章節中再講。
Buffer的分配
要想獲得一個Buffer對象首先要進行分配。 每一個Buffer類都有一個allocate方法。下面是一個分配48字節capacity的ByteBuffer的例子。
1 |
ByteBuffer buf = ByteBuffer.allocate(48); |
這是分配一個可存儲1024個字符的CharBuffer:
1 |
CharBuffer buf = CharBuffer.allocate(1024); |
向Buffer中寫數據
寫數據到Buffer有兩種方式:
- 從Channel寫到Buffer。
- 通過Buffer的put()方法寫到Buffer裏。
從Channel寫到Buffer的例子
1 |
int bytesRead = inChannel.read(buf); //read into buffer. |
通過put方法寫Buffer的例子:
put方法有很多版本,允許你以不同的方式把數據寫入到Buffer中。例如, 寫到一個指定的位置,或者把一個字節數組寫入到Buffer。 更多Buffer實現的細節參考JavaDoc。
flip()方法
flip方法將Buffer從寫模式切換到讀模式。調用flip()方法會將position設回0,並將limit設置成之前position的值。
換句話說,position現在用於標記讀的位置,limit表示之前寫進了多少個byte、char等 —— 現在能讀取多少個byte、char等。
從Buffer中讀取數據
從Buffer中讀取數據有兩種方式:
- 從Buffer讀取數據到Channel。
- 使用get()方法從Buffer中讀取數據。
從Buffer讀取數據到Channel的例子:
1 |
//read from buffer into channel. |
2 |
int bytesWritten = inChannel.write(buf); |
使用get()方法從Buffer中讀取數據的例子
1 |
byte aByte = buf.get(); |
get方法有很多版本,允許你以不同的方式從Buffer中讀取數據。例如,從指定position讀取,或者從Buffer中讀取數據到字節數組。更多Buffer實現的細節參考JavaDoc。
rewind()方法
Buffer.rewind()將position設回0,所以你可以重讀Buffer中的所有數據。limit保持不變,仍然表示能從Buffer中讀取多少個元素(byte、char等)。
clear()與compact()方法
一旦讀完Buffer中的數據,需要讓Buffer準備好再次被寫入。可以通過clear()或compact()方法來完成。
如果調用的是clear()方法,position將被設回0,limit被設置成 capacity的值。換句話說,Buffer 被清空了。Buffer中的數據並未清除,只是這些標記告訴我們可以從哪裏開始往Buffer裏寫數據。
如果Buffer中有一些未讀的數據,調用clear()方法,數據將“被遺忘”,意味着不再有任何標記會告訴你哪些數據被讀過,哪些還沒有。
如果Buffer中仍有未讀的數據,且後續還需要這些數據,但是此時想要先先寫些數據,那麼使用compact()方法。
compact()方法將所有未讀的數據拷貝到Buffer起始處。然後將position設到最後一個未讀元素正後面。limit屬性依然像clear()方法一樣,設置成capacity。現在Buffer準備好寫數據了,但是不會覆蓋未讀的數據。
mark()與reset()方法
通過調用Buffer.mark()方法,可以標記Buffer中的一個特定position。之後可以通過調用Buffer.reset()方法恢復到這個position。例如:
3 |
//call buffer.get() a couple of times, e.g. during parsing. |
5 |
buffer.reset(); //set position back to mark. |
equals()與compareTo()方法
可以使用equals()和compareTo()方法兩個Buffer。
equals()
當滿足下列條件時,表示兩個Buffer相等:
- 有相同的類型(byte、char、int等)。
- Buffer中剩餘的byte、char等的個數相等。
- Buffer中所有剩餘的byte、char等都相同。
如你所見,equals只是比較Buffer的一部分,不是每一個在它裏面的元素都比較。實際上,它只比較Buffer中的剩餘元素。
compareTo()方法
compareTo()方法比較兩個Buffer的剩餘元素(byte、char等), 如果滿足下列條件,則認爲一個Buffer“小於”另一個Buffer:
- 第一個不相等的元素小於另一個Buffer中對應的元素 。
- 所有元素都相等,但第一個Buffer比另一個先耗盡(第一個Buffer的元素個數比另一個少)。
(四) Scatter/Gather
Java NIO開始支持scatter/gather,scatter/gather用於描述從Channel(譯者注:Channel在中文經常翻譯爲通道)中讀取或者寫入到Channel的操作。
分散(scatter)從Channel中讀取是指在讀操作時將讀取的數據寫入多個buffer中。因此,Channel將從Channel中讀取的數據“分散(scatter)”到多個Buffer中。
聚集(gather)寫入Channel是指在寫操作時將多個buffer的數據寫入同一個Channel,因此,Channel 將多個Buffer中的數據“聚集(gather)”後發送到Channel。
scatter / gather經常用於需要將傳輸的數據分開處理的場合,例如傳輸一個由消息頭和消息體組成的消息,你可能會將消息體和消息頭分散到不同的buffer中,這樣你可以方便的處理消息頭和消息體。
Scattering Reads
Scattering Reads是指數據從一個channel讀取到多個buffer中。如下圖描述:
Java NIO: Scattering Read
代碼示例如下:
1 |
ByteBuffer header = ByteBuffer.allocate(128); |
2 |
ByteBuffer body = ByteBuffer.allocate(1024); |
4 |
ByteBuffer[] bufferArray = { header, body }; |
6 |
channel.read(bufferArray); |
注意buffer首先被插入到數組,然後再將數組作爲channel.read() 的輸入參數。read()方法按照buffer在數組中的順序將從channel中讀取的數據寫入到buffer,當一個buffer被寫滿 後,channel緊接着向另一個buffer中寫。
Scattering Reads在移動下一個buffer前,必須填滿當前的buffer,這也意味着它不適用於動態消息(譯者注:消息大小不固定)。換句話說,如果存在消息 頭和消息體,消息頭必須完成填充(例如 128byte),Scattering Reads才能正常工作。
Gathering Writes
Gathering Writes是指數據從多個buffer寫入到同一個channel。如下圖描述:
Java NIO: Gathering Write
代碼示例如下:
1 |
ByteBuffer header = ByteBuffer.allocate(128); |
2 |
ByteBuffer body = ByteBuffer.allocate(1024); |
4 |
//write data into buffers |
6 |
ByteBuffer[] bufferArray = { header, body }; |
8 |
channel.write(bufferArray); |
buffers數組是write()方法的入參,write()方法會按照buffer在數組中的順序,將數據寫入到channel,注意只有 position和limit之間的數據纔會被寫入。因此,如果一個buffer的容量爲128byte,但是僅僅包含58byte的數據,那麼這 58byte的數據將被寫入到channel中。因此與Scattering Reads相反,Gathering Writes能較好的處理動態消息。
(五) 通道之間的數據傳輸
在Java NIO中,如果兩個通道中有一個是FileChannel,那你可以直接將數據從一個channel(譯者注:channel中文常譯作通道)傳輸到另外一個channel。
transferFrom()
FileChannel的transferFrom()方法可以將數據從源通道傳輸到FileChannel中(譯者注:這個方法在JDK文檔中的解釋爲將字節從給定的可讀取字節通道傳輸到此通道的文件中)。下面是一個簡單的例子:
01 |
RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw"); |
02 |
FileChannel fromChannel = fromFile.getChannel(); |
04 |
RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw"); |
05 |
FileChannel toChannel = toFile.getChannel(); |
08 |
long count = fromChannel.size(); |
10 |
toChannel.transferFrom(position, count, fromChannel); |
方法的輸入參數position表示從position處開始向目標文件寫入數據,count表示最多傳輸的字節數。如果源通道的剩餘空間小於 count 個字節,則所傳輸的字節數要小於請求的字節數。
此外要注意,在SoketChannel的實現中,SocketChannel只會傳輸此刻準備好的數據(可能不足count字節)。因此,SocketChannel可能不會將請求的所有數據(count個字節)全部傳輸到FileChannel中。
transferTo()
transferTo()方法將數據從FileChannel傳輸到其他的channel中。下面是一個簡單的例子:
01 |
RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw"); |
02 |
FileChannel fromChannel = fromFile.getChannel(); |
04 |
RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw"); |
05 |
FileChannel toChannel = toFile.getChannel(); |
08 |
long count = fromChannel.size(); |
10 |
fromChannel.transferTo(position, count, toChannel); |
是不是發現這個例子和前面那個例子特別相似?除了調用方法的FileChannel對象不一樣外,其他的都一樣。
上面所說的關於SocketChannel的問題在transferTo()方法中同樣存在。SocketChannel會一直傳輸數據直到目標buffer被填滿。
(六) NIO Selector
http://tutorials.jenkov.com/java-nio/selectors.html
(七) FileChannel
Java NIO中的FileChannel是一個連接到文件的通道。可以通過文件通道讀寫文件。
FileChannel無法設置爲非阻塞模式,它總是運行在阻塞模式下。
打開FileChannel
在使用FileChannel之前,必須先打開它。但是,我們無法直接打開一個FileChannel,需要通過使用一個InputStream、 OutputStream或RandomAccessFile來獲取一個FileChannel實例。下面是通過RandomAccessFile打開 FileChannel的示例:
1 |
RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw"); |
2 |
FileChannel inChannel = aFile.getChannel(); |
從FileChannel讀取數據
調用多個read()方法之一從FileChannel中讀取數據。如:
1 |
ByteBuffer buf = ByteBuffer.allocate(48); |
2 |
int bytesRead = inChannel.read(buf); |
首先,分配一個Buffer。從FileChannel中讀取的數據將被讀到Buffer中。
然後,調用FileChannel.read()方法。該方法將數據從FileChannel讀取到Buffer中。read()方法返回的int值表示了有多少字節被讀到了Buffer中。如果返回-1,表示到了文件末尾。
向FileChannel寫數據
使用FileChannel.write()方法向FileChannel寫數據,該方法的參數是一個Buffer。如:
01 |
String newData = "New String to write to file..." + System.currentTimeMillis(); |
03 |
ByteBuffer buf = ByteBuffer.allocate(48); |
05 |
buf.put(newData.getBytes()); |
09 |
while(buf.hasRemaining()) { |
注意FileChannel.write()是在while循環中調用的。因爲無法保證write()方法一次能向FileChannel寫入多少字節,因此需要重複調用write()方法,直到Buffer中已經沒有尚未寫入通道的字節。
關閉FileChannel
用完FileChannel後必須將其關閉。如:
FileChannel的position方法
有時可能需要在FileChannel的某個特定位置進行數據的讀/寫操作。可以通過調用position()方法獲取FileChannel的當前位置。
也可以通過調用position(long pos)方法設置FileChannel的當前位置。
這裏有兩個例子:
1 |
long pos = channel.position(); |
2 |
channel.position(pos +123); |
如果將位置設置在文件結束符之後,然後試圖從文件通道中讀取數據,讀方法將返回-1 —— 文件結束標誌。
如果將位置設置在文件結束符之後,然後向通道中寫數據,文件將撐大到當前位置並寫入數據。這可能導致“文件空洞”,磁盤上物理文件中寫入的數據間有空隙。
FileChannel的size方法
FileChannel實例的size()方法將返回該實例所關聯文件的大小。如:
1 |
long fileSize = channel.size(); |
FileChannel的truncate方法
可以使用FileChannel.truncate()方法截取一個文件。截取文件時,文件將中指定長度後面的部分將被刪除。如:
1 |
channel.truncate(1024); |
這個例子截取文件的前1024個字節。
FileChannel的force方法
FileChannel.force()方法將通道里尚未寫入磁盤的數據強制寫到磁盤上。出於性能方面的考慮,操作系統會將數據緩存在內存中,所以無法保證寫入到FileChannel裏的數據一定會即時寫到磁盤上。要保證這一點,需要調用force()方法。
force()方法有一個boolean類型的參數,指明是否同時將文件元數據(權限信息等)寫到磁盤上。
下面的例子同時將文件數據和元數據強制寫到磁盤上:
(八) SocketChannel
Java NIO中的SocketChannel是一個連接到TCP網絡套接字的通道。可以通過以下2種方式創建SocketChannel:
- 打開一個SocketChannel並連接到互聯網上的某臺服務器。
- 一個新連接到達ServerSocketChannel時,會創建一個SocketChannel。
打開 SocketChannel
下面是SocketChannel的打開方式:
1 |
SocketChannel socketChannel = SocketChannel.open(); |
關閉 SocketChannel
當用完SocketChannel之後調用SocketChannel.close()關閉SocketChannel:
從 SocketChannel 讀取數據
要從SocketChannel中讀取數據,調用一個read()的方法之一。以下是例子:
1 |
ByteBuffer buf = ByteBuffer.allocate(48); |
2 |
int bytesRead = socketChannel.read(buf); |
首先,分配一個Buffer。從SocketChannel讀取到的數據將會放到這個Buffer中。
然後,調用SocketChannel.read()。該方法將數據從SocketChannel 讀到Buffer中。read()方法返回的int值表示讀了多少字節進Buffer裏。如果返回的是-1,表示已經讀到了流的末尾(連接關閉了)。
寫入 SocketChannel
寫數據到SocketChannel用的是SocketChannel.write()方法,該方法以一個Buffer作爲參數。示例如下:
01 |
String newData = "New String to write to file..." + System.currentTimeMillis(); |
03 |
ByteBuffer buf = ByteBuffer.allocate(48); |
05 |
buf.put(newData.getBytes()); |
09 |
while(buf.hasRemaining()) { |
注意SocketChannel.write()方法的調用是在一個while循環中的。Write()方法無法保證能寫多少字節到SocketChannel。所以,我們重複調用write()直到Buffer沒有要寫的字節爲止。
非阻塞模式
可以設置 SocketChannel 爲非阻塞模式(non-blocking mode).設置之後,就可以在異步模式下調用connect(), read() 和write()了。
connect()
如果SocketChannel在非阻塞模式下,此時調用connect(),該方法可能在連接建立之前就返回了。爲了確定連接是否建立,可以調用finishConnect()的方法。像這樣:
1 |
socketChannel.configureBlocking(false); |
4 |
while(! socketChannel.finishConnect() ){ |
5 |
//wait, or do something else... |
write()
非阻塞模式下,write()方法在尚未寫出任何內容時可能就返回了。所以需要在循環中調用write()。前面已經有例子了,這裏就不贅述了。
read()
非阻塞模式下,read()方法在尚未讀取到任何數據時可能就返回了。所以需要關注它的int返回值,它會告訴你讀取了多少字節。
非阻塞模式與選擇器
非阻塞模式與選擇器搭配會工作的更好,通過將一或多個SocketChannel註冊到Selector,可以詢問選擇器哪個通道已經準備好了讀取,寫入等。Selector與SocketChannel的搭配使用會在後面詳講。
(九) ServerSocketChannel
Java NIO中的 ServerSocketChannel 是一個可以監聽新進來的TCP連接的通道, 就像標準IO中的ServerSocket一樣。ServerSocketChannel類在 java.nio.channels包中。
這裏有個例子:
01 |
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); |
03 |
serverSocketChannel.socket().bind(new InetSocketAddress(9999)); |
06 |
SocketChannel socketChannel = |
07 |
serverSocketChannel.accept(); |
09 |
//do something with socketChannel... |
打開 ServerSocketChannel
通過調用 ServerSocketChannel.open() 方法來打開ServerSocketChannel.如:
1 |
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); |
關閉 ServerSocketChannel
通過調用ServerSocketChannel.close() 方法來關閉ServerSocketChannel. 如:
1 |
serverSocketChannel.close(); |
監聽新進來的連接
通過 ServerSocketChannel.accept() 方法監聽新進來的連接。當 accept()方法返回的時候,它返回一個包含新進來的連接的 SocketChannel。因此, accept()方法會一直阻塞到有新連接到達。
通常不會僅僅只監聽一個連接,在while循環中調用 accept()方法. 如下面的例子:
2 |
SocketChannel socketChannel = |
3 |
serverSocketChannel.accept(); |
5 |
//do something with socketChannel... |
當然,也可以在while循環中使用除了true以外的其它退出準則。
非阻塞模式
ServerSocketChannel可以設置成非阻塞模式。在非阻塞模式下,accept() 方法會立刻返回,如果還沒有新進來的連接,返回的將是null。 因此,需要檢查返回的SocketChannel是否是null.如:
01 |
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); |
03 |
serverSocketChannel.socket().bind(new InetSocketAddress(9999)); |
04 |
serverSocketChannel.configureBlocking(false); |
07 |
SocketChannel socketChannel = |
08 |
serverSocketChannel.accept(); |
10 |
if(socketChannel != null){ |
11 |
//do something with socketChannel... |
(十) Java NIO DatagramChannel
Java NIO中的DatagramChannel是一個能收發UDP包的通道。因爲UDP是無連接的網絡協議,所以不能像其它通道那樣讀取和寫入。它發送和接收的是數據包。
打開 DatagramChannel
下面是 DatagramChannel 的打開方式:
1 |
DatagramChannel channel = DatagramChannel.open(); |
2 |
channel.socket().bind(new InetSocketAddress(9999)); |
這個例子打開的 DatagramChannel可以在UDP端口9999上接收數據包。
接收數據
通過receive()方法從DatagramChannel接收數據,如:
1 |
ByteBuffer buf = ByteBuffer.allocate(48); |
receive()方法會將接收到的數據包內容複製到指定的Buffer. 如果Buffer容不下收到的數據,多出的數據將被丟棄。
發送數據
通過send()方法從DatagramChannel發送數據,如:
1 |
String newData = "New String to write to file..." + System.currentTimeMillis(); |
3 |
ByteBuffer buf = ByteBuffer.allocate(48); |
5 |
buf.put(newData.getBytes()); |
8 |
int bytesSent = channel.send(buf, new InetSocketAddress("jenkov.com", 80)); |
這個例子發送一串字符到”jenkov.com”服務器的UDP端口80。 因爲服務端並沒有監控這個端口,所以什麼也不會發生。也不會通知你發出的數據包是否已收到,因爲UDP在數據傳送方面沒有任何保證。
連接到特定的地址
可以將DatagramChannel“連接”到網絡中的特定地址的。由於UDP是無連接的,連接到特定地址並不會像TCP通道那樣創建一個真正的連接。而是鎖住DatagramChannel ,讓其只能從特定地址收發數據。
這裏有個例子:
1 |
channel.connect(new InetSocketAddress("jenkov.com", 80)); |
當連接後,也可以使用read()和write()方法,就像在用傳統的通道一樣。只是在數據傳送方面沒有任何保證。這裏有幾個例子:
1 |
int bytesRead = channel.read(buf); |
2 |
int bytesWritten = channel.write(but); |
(十一) Pipe
Java NIO 管道是2個線程之間的單向數據連接。Pipe有一個source通道和一個sink通道。數據會被寫到sink通道,從source通道讀取。
這裏是Pipe原理的圖示:
創建管道
通過Pipe.open()方法打開管道。例如:
1 |
Pipe pipe = Pipe.open(); |
向管道寫數據
要向管道寫數據,需要訪問sink通道。像這樣:
1 |
Pipe.SinkChannel sinkChannel = pipe.sink(); |
通過調用SinkChannel的write()方法,將數據寫入SinkChannel,像這樣:
01 |
String newData = "New String to write to file..." + System.currentTimeMillis(); |
02 |
ByteBuffer buf = ByteBuffer.allocate(48); |
04 |
buf.put(newData.getBytes()); |
08 |
while(buf.hasRemaining()) { |
09 |
sinkChannel.write(buf); |
從管道讀取數據
從讀取管道的數據,需要訪問source通道,像這樣:
1 |
Pipe.SourceChannel sourceChannel = pipe.source(); |
調用source通道的read()方法來讀取數據,像這樣:
1 |
ByteBuffer buf = ByteBuffer.allocate(48); |
3 |
int bytesRead = inChannel.read(buf); |
read()方法返回的int值會告訴我們多少字節被讀進了緩衝區。
(十二) Java NIO與IO
當學習了Java NIO和IO的API後,一個問題馬上涌入腦海:
我應該何時使用IO,何時使用NIO呢?在本文中,我會盡量清晰地解析Java NIO和IO的差異、它們的使用場景,以及它們如何影響您的代碼設計。
Java NIO和IO的主要區別
下表總結了Java NIO和IO之間的主要差別,我會更詳細地描述表中每部分的差異。
IONIO 面向流 面向緩衝阻塞IO 非阻塞IO無 選擇器
面向流與面向緩衝
Java NIO和IO之間第一個最大的區別是,IO是面向流的,NIO是面向緩衝區的。 Java IO面向流意味着每次從流中讀一個或多個字節,直至讀取所有字節,它們沒有被緩存在任何地方。此外,它不能前後移動流中的數據。如果需要前後移動從流中讀 取的數據,需要先將它緩存到一個緩衝區。 Java NIO的緩衝導向方法略有不同。數據讀取到一個它稍後處理的緩衝區,需要時可在緩衝區中前後移動。這就增加了處理過程中的靈活性。但是,還需要檢查是否該 緩衝區中包含所有您需要處理的數據。而且,需確保當更多的數據讀入緩衝區時,不要覆蓋緩衝區裏尚未處理的數據。
阻塞與非阻塞IO
Java IO的各種流是阻塞的。這意味着,當一個線程調用read() 或 write()時,該線程被阻塞,直到有一些數據被讀取,或數據完全寫入。該線程在此期間不能再幹任何事情了。 Java NIO的非阻塞模式,使一個線程從某通道發送請求讀取數據,但是它僅能得到目前可用的數據,如果目前沒有數據可用時,就什麼都不會獲取。而不是保持線程阻 塞,所以直至數據變的可以讀取之前,該線程可以繼續做其他的事情。 非阻塞寫也是如此。一個線程請求寫入一些數據到某通道,但不需要等待它完全寫入,這個線程同時可以去做別的事情。 線程通常將非阻塞IO的空閒時間用於在其它通道上執行IO操作,所以一個單獨的線程現在可以管理多個輸入和輸出通道(channel)。
選擇器(Selectors)
Java NIO的選擇器允許一個單獨的線程來監視多個輸入通道,你可以註冊多個通道使用一個選擇器,然後使用一個單獨的線程來“選擇”通道:這些通道里已經有可以處理的輸入,或者選擇已準備寫入的通道。這種選擇機制,使得一個單獨的線程很容易來管理多個通道。
NIO和IO如何影響應用程序的設計
無論您選擇IO或NIO工具箱,可能會影響您應用程序設計的以下幾個方面:
- 對NIO或IO類的API調用。
- 數據處理。
- 用來處理數據的線程數。
API調用
當然,使用NIO的API調用時看起來與使用IO時有所不同,但這並不意外,因爲並不是僅從一個InputStream逐字節讀取,而是數據必須先讀入緩衝區再處理。
數據處理
使用純粹的NIO設計相較IO設計,數據處理也受到影響。
在IO設計中,我們從InputStream或 Reader逐字節讀取數據。假設你正在處理一基於行的文本數據流,例如:
Name: AnnaAge: 25Email: [email protected]: 1234567890
該文本行的流可以這樣處理:
InputStream input = … ; // get the InputStream from the client socket
1 |
BufferedReader reader = new BufferedReader(new InputStreamReader(input)); |
3 |
String nameLine = reader.readLine(); |
4 |
String ageLine = reader.readLine(); |
5 |
String emailLine = reader.readLine(); |
6 |
String phoneLine = reader.readLine(); |
請注意處理狀態由程序執行多久決定。換句話說,一旦reader.readLine()方法返回,你就知道肯定文本行就已讀完, readline()阻塞直到整行讀完,這就是原因。你也知道此行包含名稱;同樣,第二個readline()調用返回的時候,你知道這行包含年齡等。 正如你可以看到,該處理程序僅在有新數據讀入時運行,並知道每步的數據是什麼。一旦正在運行的線程已處理過讀入的某些數據,該線程不會再回退數據(大多如 此)。下圖也說明了這條原則:(Java
IO: 從一個阻塞的流中讀數據) 而一個NIO的實現會有所不同,下面是一個簡單的例子:
1 |
ByteBuffer buffer = ByteBuffer.allocate(48); |
3 |
int bytesRead = inChannel.read(buffer); |
注意第二行,從通道讀取字節到ByteBuffer。當這個方法調用返回時,你不知道你所需的所有數據是否在緩衝區內。你所知道的是,該緩衝區包含一些字節,這使得處理有點困難。
假設第一次 read(buffer)調用後,讀入緩衝區的數據只有半行,例如,“Name:An”,你能處理數據嗎?顯然不能,需要等待,直到整行數據讀入緩存,在此之前,對數據的任何處理毫無意義。
所以,你怎麼知道是否該緩衝區包含足夠的數據可以處理呢?好了,你不知道。發現的方法只能查看緩衝區中的數據。其結果是,在你知道所有數據都在緩衝區裏之前,你必須檢查幾次緩衝區的數據。這不僅效率低下,而且可以使程序設計方案雜亂不堪。例如:
1 |
ByteBuffer buffer = ByteBuffer.allocate(48); |
3 |
int bytesRead = inChannel.read(buffer); |
5 |
while(! bufferFull(bytesRead) ) { |
7 |
bytesRead = inChannel.read(buffer); |
bufferFull()方法必須跟蹤有多少數據讀入緩衝區,並返回真或假,這取決於緩衝區是否已滿。換句話說,如果緩衝區準備好被處理,那麼表示緩衝區滿了。
bufferFull()方法掃描緩衝區,但必須保持在bufferFull()方法被調用之前狀態相同。如果沒有,下一個讀入緩衝區的數據可能無法讀到正確的位置。這是不可能的,但卻是需要注意的又一問題。
如果緩衝區已滿,它可以被處理。如果它不滿,並且在你的實際案例中有意義,你或許能處理其中的部分數據。但是許多情況下並非如此。下圖展示了“緩衝區數據循環就緒”:
Java NIO:從一個通道里讀數據,直到所有的數據都讀到緩衝區裏.
3) 用來處理數據的線程數
NIO可讓您只使用一個(或幾個)單線程管理多個通道(網絡連接或文件),但付出的代價是解析數據可能會比從一個阻塞流中讀取數據更復雜。
如果需要管理同時打開的成千上萬個連接,這些連接每次只是發送少量的數據,例如聊天服務器,實現NIO的服務器可能是一個優勢。同樣,如果你需要維持許多 打開的連接到其他計算機上,如P2P網絡中,使用一個單獨的線程來管理你所有出站連接,可能是一個優勢。一個線程多個連接的設計方案如下圖所示:
Java NIO: 單線程管理多個連接
如果你有少量的連接使用非常高的帶寬,一次發送大量的數據,也許典型的IO服務器實現可能非常契合。下圖說明了一個典型的IO服務器設計:
Java IO: 一個典型的IO服務器設計- 一個連接通過一個線程處理.
PS:NIO 應用介紹:
Java1.4 提供了NIO使開發者可以使用Java編寫高性能的服務端程序,但使用原生的NIO API就像Linux C中網絡編程一樣,還是需要做IO處理、協議處理等低層次工作。所以,就像C服務端程序大量使用libevent作爲網絡應用框架一樣,Java社區也不 斷涌現出基於NIO的網絡應用框架。在這其中,Jboss出品的Netty就是個中翹楚。Netty是個異步的事件驅動網絡應用框架,具有高性能、高擴展
性等特性。Netty提供了統一的底層協議接口,使得開發者從底層的網絡協議(比如TCP/IP、UDP)中解脫出來。就使用來說,開發者只要參考 Netty提供的若干例子和它的指南文檔,就可以放手開發基於Netty的服務端程序了。在Java社區,最知名的開源Java NIO框架要屬Mina和Netty,而且兩者淵源頗多,對兩者的比較自然不少。實際上,Netty的作者原來就是Mina作者之一,所以可以想 到,Netty和Mina在設計理念上會有很多共同點。我對Mina沒什麼研究,但其作者介紹,Netty的設計對開發者有更友好的擴展性,並且性能方面
要優於Mina,而Netty完善的文檔也很吸引人。所以,如果你在尋找Java NIO框架,Netty是個很不錯的選擇。
在現在非常流行的大數據處理框架 hadoop 中,也大量用到了 NIO。
REF:
http://tutorials.jenkov.com/java-nio/index.html
Java NIO Tutorial
來自:http://ifeve.com/java-nio-all/