JAVA NIO

1.   基本概念

       IO 是主存和外部設備 ( 硬盤、終端和網絡等 ) 拷貝數據的過程。
       IO 是操作系統的底層功能實現，底層通過 I/O 指令進行完成。 
       所有語言運行時系統提供執行 I/O 較高級別的工具。(c 的 printf scanf,java 的面向對象封裝 )

2.    Java 標準io 回顧

     Java 標準IO類庫是io 面向對象的一種抽象。基於本地方法的底層實現，我們無須關注底層實現。
     InputStream\OutputStream( 字節流 ) ：一次傳送一個字節。
     Reader\Writer( 字符流 ) ：一次一個字符。

3.    NIO 簡介

NIO 是java New IO 的簡稱，在 jdk1.4 裏提供的新 api 。Sun 官方標榜的特性如下：

–爲所有的原始類型提供 (Buffer) 緩存支持。
– 字符集編碼解碼解決方案。
–Channel ：一個新的原始 I/O 抽象。
–支持鎖和內存映射文件的文件訪問接口。
–提供多路 (non-bloking) 非阻塞式的高伸縮性網絡 I/O 。

本文將圍繞這幾個特性進行學習和介紹。

4.   Buffer&Chanel

Channel 和buffer 是NIO 是兩個最基本的數據類型抽象。
Buffer:
–是一塊連續的內存塊。
–是NIO數據讀或寫的中轉地。
Channel:
–數據的源頭或者數據的目的地
–用於向buffer 提供數據或者讀取buffer 數據,buffer 對象的唯一接口。
–異步I/O 支持

圖1：channel和buffer關係

例子1:CopyFile.java:

package sample;   
  
import java.io.FileInputStream;   
import java.io.FileOutputStream;   
import java.nio.ByteBuffer;   
import java.nio.channels.FileChannel;   
  
public class CopyFile {   
    public static void main(String[] args) throws Exception {   
        String infile = "C:\\copy.sql";   
        String outfile = "C:\\copy.txt";   
        // 獲取源文件和目標文件的輸入輸出流   
        FileInputStream fin = new FileInputStream(infile);   
        FileOutputStream fout = new FileOutputStream(outfile);   
        // 獲取輸入輸出通道   
        FileChannel fcin = fin.getChannel();   
        FileChannel fcout = fout.getChannel();   
        // 創建緩衝區   
        ByteBuffer buffer = ByteBuffer.allocate(1024);   
        while (true) {   
            // clear方法重設緩衝區，使它可以接受讀入的數據   
            buffer.clear();   
            // 從輸入通道中將數據讀到緩衝區   
            int r = fcin.read(buffer);   
            // read方法返回讀取的字節數，可能爲零，如果該通道已到達流的末尾，則返回-1   
            if (r == -1) {   
                break;   
            }   
            // flip方法讓緩衝區可以將新讀入的數據寫入另一個通道   
            buffer.flip();   
            // 從輸出通道中將數據寫入緩衝區   
            fcout.write(buffer);   
        }   
    }   
}  

其中 buffer內部結構如下

 

一個 buffer 主要由 position,limit,capacity 三個變量來控制讀寫的過程。此三個變量的含義見如下表格：

參數	寫模式	讀模式
position	當前寫入的單位數據數量。	當前讀取的單位數據位置。
limit	代表最多能寫多少單位數據和容量是一樣的。	代表最多能讀多少單位數據，和之前寫入的單位數據量一致。
capacity	buffer 容量	buffer 容量

Buffer常見方法:
flip():寫模式轉換成讀模式
rewind()：將position重置爲0，一般用於重複讀。
clear()：清空buffer，準備再次被寫入(position變成0 ，limit變成capacity)。
compact():將未讀取的數據拷貝到buffer的頭部位。
mark()、reset():mark可以標記一個位置，reset可以重置到該位置。
Buffer常見類型：ByteBuffer、MappedByteBuffer、CharBuffer 、 DoubleBuffer、FloatBuffer、IntBuffer、LongBuffer、ShortBuffer。
channel常見類型:FileChannel、DatagramChannel(UDP)、SocketChannel(TCP)、ServerSocketChannel(TCP)
在本機上面做了個簡單的性能測試。我的筆記本性能一般。(具體代碼可以見附件。見nio.sample.filecopy包下面的例子)以下是參考數據：
–場景1：Copy一個370M的文件
–場景2:三個線程同時拷貝，每個線程拷貝一個370M文件

場景	FileInputStream +FileOutputStream	FileInputStream+ BufferedInputStream+ FileOutputStream	ByteBuffer +FileChannel	MappedByteBuffer +FileChannel
場景一時間 ( 毫秒 )	25155	17500	19000	16500
場景二時間 ( 毫秒 )	69000	67031	74031	71016

5.    nio.charset

    字符編碼解碼 : 字節碼本身只是一些數字，放到正確的上下文中被正確被解析。向 ByteBuffer 中存放數據時需要考慮字符集的編碼方式，讀取展示 ByteBuffer 數據時涉及對字符集解碼。
    Java.nio.charset 提供了編碼解碼一套解決方案。
    以我們最常見的 http 請求爲例，在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。
    以下代碼向 baidu 發一次請求，並獲取結果進行顯示。例子演示到了 charset 的使用。
例子 2BaiduReader.java

package nio.readpage;   
  
import java.nio.ByteBuffer;   
import java.nio.channels.SocketChannel;   
import java.nio.charset.Charset;   
import java.net.InetSocketAddress;   
import java.io.IOException;   
public class BaiduReader {   
    private Charset charset = Charset.forName("GBK");// 創建GBK字符集   
    private SocketChannel channel;   
    public void readHTMLContent() {   
        try {   
            InetSocketAddress socketAddress = new InetSocketAddress(   
"www.baidu.com", 80);   
//step1:打開連接   
            channel = SocketChannel.open(socketAddress);   
        //step2:發送請求，使用GBK編碼   
            channel.write(charset.encode("GET " + "/ HTTP/1.1" + "\r\n\r\n"));   
            //step3:讀取數據   
            ByteBuffer buffer = ByteBuffer.allocate(1024);// 創建1024字節的緩衝   
            while (channel.read(buffer) != -1) {   
                buffer.flip();// flip方法在讀緩衝區字節操作之前調用。   
                System.out.println(charset.decode(buffer));   
                // 使用Charset.decode方法將字節轉換爲字符串   
                buffer.clear();// 清空緩衝   
            }   
        } catch (IOException e) {   
            System.err.println(e.toString());   
        } finally {   
            if (channel != null) {   
                try {   
                    channel.close();   
                } catch (IOException e) {   
                }   
            }   
        }   
    }   
    public static void main(String[] args) {   
        new BaiduReader().readHTMLContent();   
    }   
}  

6.非阻塞 IO

關於非阻塞 IO 將從何爲阻塞、何爲非阻塞、非阻塞原理和異步核心 API 幾個方面來理解。

何爲阻塞？

一個常見的網絡 IO 通訊流程如下 :

       從該網絡通訊過程來理解一下何爲阻塞 :
       在以上過程中若連接還沒到來，那麼 accept 會阻塞 , 程序運行到這裏不得不掛起，CPU 轉而執行其他線程。
       在以上過程中若數據還沒準備好， read 會一樣也會阻塞。
       阻塞式網絡 IO 的特點：多線程處理多個連接。每個線程擁有自己的棧空間並且佔用一些CPU 時間。每個線程遇到外部未準備好的時候，都會阻塞掉。阻塞的結果就是會帶來大量的進程上下文切換。且大部分進程上下文切換可能是無意義的。比如假設一個線程監聽一個端口，一天只會有幾次請求進來，但是該cpu 不得不爲該線程不斷做上下文切換嘗試，大部分的切換以阻塞告終。

何爲非阻塞？

下面有個隱喻：
       一輛從 A 開往B 的公共汽車上，路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車，對於需要下車的人，如何處理更好？
      1. 司機過程中定時詢問每個乘客是否到達目的地，若有人說到了，那麼司機停車，乘客下車。 ( 類似阻塞式) 
      2. 每個人告訴售票員自己的目的地，然後睡覺，司機只和售票員交互，到了某個點由售票員通知乘客下車。( 類似非阻塞 ) 
      很顯然，每個人要到達某個目的地可以認爲是一個線程，司機可以認爲是 CPU 。在阻塞式裏面，每個線程需要不斷的輪詢，上下文切換，以達到找到目的地的結果。而在非阻塞方式裏，每個乘客 ( 線程 ) 都在睡覺 ( 休眠 ) ，只在真正外部環境準備好了才喚醒，這樣的喚醒肯定不會阻塞。

非阻塞的原理

      把整個過程切換成小的任務，通過任務間協作完成。由一個專門的線程來處理所有的IO事件，並負責分發。 
      事件驅動機制：事件到的時候觸發，而不是同步的去監視事件。 
      線程通訊：線程之間通過wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的進程切換。以下是異步 IO 的結構：

Reactor 就是上面隱喻的售票員角色。每個線程的處理流程大概都是讀取數據、解碼、計算處理、編碼、發送響應。

異步 IO 核心 API
Selector
      異步IO 的核心類，它能檢測一個或多個通道(channel) 上的事件，並將事件分發出去。
      使用一個select 線程就能監聽多個通道上的事件，並基於事件驅動觸發相應的響應。而不需要爲每個channel 去分配一個線程。
SelectionKey
包含了事件的狀態信息和時間對應的通道的綁定。
例子 1 單線程實現監聽兩個端口。 ( 見 nio.asyn 包下面的例子。 )
例子 2 NIO 線程協作實現資源合理利用。 (wait,notify) 。 ( 見nio.asyn.multithread 下的例子 )

附件：異步IO實例