netty系列之:搭建自己的下載文件服務器

簡介

上一篇文章我們學習瞭如何在netty中搭建一個HTTP服務器，討論瞭如何對客戶端發送的請求進行處理和響應，今天我們來討論一下在netty中搭建文件服務器進行文件傳輸中應該注意的問題。

文件的content-type

客戶端向服務器端請求一個文件，服務器端在返回的HTTP頭中會包含一個content-type的內容，這個content-type表示的是返回的文件類型。這個類型應該怎麼確認呢？

一般來說，文件類型是根據文件的的擴展名來確認的，根據 RFC 4288的規範，所有的網絡媒體類型都必須註冊。apache也提供了一個文件MIME type和擴展名的映射關係表。

因爲文件類型比較多，我們看幾個比較常用到的類型如下：

MIME type	擴展名
image/jpeg	jpg
image/jpeg	jpeg
image/png	png
text/plain	txt text conf def list log in
image/webp	webp
application/vnd.ms-excel	xls
application/vnd.openxmlformats-officedocument.spreadsheetml.sheet	xlsx
application/msword	doc
application/vnd.openxmlformats-officedocument.wordprocessingml.document	docx
application/vnd.openxmlformats-officedocument.presentationml.presentation	pptx
application/vnd.ms-powerpoint	ppt
application/pdf	pdf

JDK提供了一個MimetypesFileTypeMap的類，這個類提供了一個getContentType方法，可以根據請求的文件path信息，來推斷其MIME type類型：

    private static void setContentTypeHeader(HttpResponse response, File file) {
        MimetypesFileTypeMap mimeTypesMap = new MimetypesFileTypeMap();
        response.headers().set(HttpHeaderNames.CONTENT_TYPE, mimeTypesMap.getContentType(file.getPath()));
    }

客戶端緩存文件

對於HTTP的文件請求來說，爲了保證請求的速度，會使用客戶端緩存的機制。比如客戶端向服務器端請求一個文件A.txt。服務器在接收到該請求之後會將A.txt文件發送給客戶端。

其請求流程如下：

   步驟1：客戶端請求服務器端的文件
   ===================
   GET /file1.txt HTTP/1.1

   步驟2：服務器端返回文件，並且附帶額外的文件時間信息：
   ===================
   HTTP/1.1 200 OK
   Date:               Mon, 23 Aug 2021 17:52:30 GMT+08:00
   Last-Modified:      Tue, 10 Aug 2021 18:05:35 GMT+08:00
   Expires:            Mon, 23 Aug 2021 17:53:30 GMT+08:00
   Cache-Control:      private, max-age=60

一般來說如果客戶端是現代瀏覽器的話，就會把A.txt緩存起來。在下次調用的時候只需要在head中添加If-Modified-Since，詢問服務器該文件是否被修改了即可，如果文件沒有被修改，則服務器會返回一個304 Not Modified，客戶端得到該狀態之後就會使用本地的緩存文件。

   步驟3：客戶端再次請求該文件
   ===================
   GET /file1.txt HTTP/1.1
   If-Modified-Since:  Mon, 23 Aug 2021 17:55:30 GMT+08:00

   步驟4：服務器端響應該請求
   ===================
   HTTP/1.1 304 Not Modified
   Date:               Mon, 23 Aug 2021 17:55:32 GMT+08:00

在服務器的代碼層面，我們首先需要返回一個響應中通常需要的日期字段，如Date、Last-Modified、Expires、Cache-Control等：

 SimpleDateFormat dateFormatter = new SimpleDateFormat(HTTP_DATE_FORMAT, Locale.US);
        dateFormatter.setTimeZone(TimeZone.getTimeZone(HTTP_DATE_GMT_TIMEZONE));

        // 日期 header
        Calendar time = new GregorianCalendar();
        log.info(dateFormatter.format(time.getTime()));

        response.headers().set(HttpHeaderNames.DATE, dateFormatter.format(time.getTime()));

        // 緩存 headers
        time.add(Calendar.SECOND, HTTP_CACHE_SECONDS);
        response.headers().set(HttpHeaderNames.EXPIRES, dateFormatter.format(time.getTime()));
        response.headers().set(HttpHeaderNames.CACHE_CONTROL, "private, max-age=" + HTTP_CACHE_SECONDS);
        response.headers().set(
                HttpHeaderNames.LAST_MODIFIED, dateFormatter.format(new Date(fileToCache.lastModified())));

然後在收到客戶端的二次請求之後，需要比較文件的最後修改時間和If-Modified-Since中自帶的時間，如果沒有發送變化，則發送304狀態：

FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, NOT_MODIFIED, Unpooled.EMPTY_BUFFER);
        setDateHeader(response);

其他HTTP中常用的處理

我們討論了文件類型和緩存，對於一個通用的HTTP服務器來說，還需要考慮很多其他常用的處理，比如異常、重定向和Keep-Alive設置。

對於異常，我們需要根據異常的代碼來構造一個DefaultFullHttpResponse，並且設置相應的CONTENT_TYPE頭即可，如下所示：

FullHttpResponse response = new DefaultFullHttpResponse(
                HTTP_1_1, status, Unpooled.copiedBuffer("異常: " + status + "\r\n", CharsetUtil.UTF_8));
        response.headers().set(HttpHeaderNames.CONTENT_TYPE, "text/plain; charset=UTF-8");

重定向同樣需要構建一個DefaultFullHttpResponse，其狀態是302 Found，並且在響應頭中設置location爲要跳轉的URL地址即可：

FullHttpResponse response = new DefaultFullHttpResponse(HTTP_1_1, FOUND, Unpooled.EMPTY_BUFFER);
        response.headers().set(HttpHeaderNames.LOCATION, newUri);

Keep-Alive是HTTP中爲了避免每次請求都建立連接而做的一個優化方式。在HTTP/1.0中默認是的keep-alive是false，在HTTP/1.1中默認的keep-alive是true。如果在header中手動設置了connection：false，則server端請求返回也需要同樣設置connection：false。

另外，因爲HTTP/1.1中默認的keep-alive是true，如果通過HttpUtil.isKeepAlive判斷通過之後，還需要判斷是否是HTTP/1.0，並顯示設置keep-alive爲true。

final boolean keepAlive = HttpUtil.isKeepAlive(request);
        HttpUtil.setContentLength(response, response.content().readableBytes());
        if (!keepAlive) {
            response.headers().set(HttpHeaderNames.CONNECTION, HttpHeaderValues.CLOSE);
        } else if (request.protocolVersion().equals(HTTP_1_0)) {
            response.headers().set(HttpHeaderNames.CONNECTION, HttpHeaderValues.KEEP_ALIVE);
        }

文件內容展示處理

文件內容展示處理是http服務器的核心，也是比較難以理解的地方。

首先要設置的是ContentLength，也就是響應的文件長度，這個可以使用file的length方法來獲取：

RandomAccessFile raf；
raf = new RandomAccessFile(file, "r");
long fileLength = raf.length();
HttpUtil.setContentLength(response, fileLength);

然後我們需要根據文件的擴展名設置對應的CONTENT_TYPE，這個在第一小節已經介紹過了。

然後再設置date和緩存屬性。這樣我們就得到了一個只包含響應頭的DefaultHttpResponse，我們先把這個只包含響應頭的respose寫到ctx中。

寫完HTTP頭，接下來就是寫HTTP的Content了。

對於HTTP傳遞的文件來說，有兩種處理方式，第一種方式情況下如果知道整個響應的content大小，則可以在後臺直接進行整個文件的拷貝傳輸。如果服務器本身支持零拷貝的話，則可以使用DefaultFileRegion的transferTo方法將File或者Channel的文件進行轉移。

sendFileFuture =
                    ctx.write(new DefaultFileRegion(raf.getChannel(), 0, fileLength), ctx.newProgressivePromise());
            // 結束部分
            lastContentFuture = ctx.writeAndFlush(LastHttpContent.EMPTY_LAST_CONTENT);

如果並不知道整個響應的context大小，則可以將大文件拆分成爲一個個的chunk，並且在響應的頭中設置transfer-coding爲chunked，netty提供了HttpChunkedInput和ChunkedFile，用來將大文件拆分成爲一個個的Chunk進行傳輸。

sendFileFuture =
                    ctx.writeAndFlush(new HttpChunkedInput(new ChunkedFile(raf, 0, fileLength, 8192)),
                            ctx.newProgressivePromise());

如果向channel中寫入ChunkedFile，則需要添加相應的ChunkedWriteHandler對chunked文件進行處理。

pipeline.addLast(new ChunkedWriteHandler());

注意，如果是完整文件傳輸，則需要手動添加last content部分：

lastContentFuture = ctx.writeAndFlush(LastHttpContent.EMPTY_LAST_CONTENT);

如果是ChunkedFile，last content部分已經包含在了chunkedFile中，不需要再手動添加了。

文件傳輸進度

ChannelFuture可以添加對應的listner，用來監控文件傳輸的進度，netty提供了一個ChannelProgressiveFutureListener，用於監控文件的進程，可以重寫operationProgressed和operationComplete方法對進度監控進行定製：

        sendFileFuture.addListener(new ChannelProgressiveFutureListener() {
            @Override
            public void operationProgressed(ChannelProgressiveFuture future, long progress, long total) {
                if (total < 0) {
                    log.info(future.channel() + " 傳輸進度: " + progress);
                } else {
                    log.info(future.channel() + " 傳輸進度: " + progress + " / " + total);
                }
            }

            @Override
            public void operationComplete(ChannelProgressiveFuture future) {
                log.info(future.channel() + " 傳輸完畢.");
            }
        });

總結

我們考慮了一個HTTP文件服務器最基本的一些考慮因素，現在可以使用這個文件服務器來提供服務啦！

本文的例子可以參考：learn-netty4

本文已收錄於 http://www.flydean.com/20-netty-fileserver/

最通俗的解讀，最深刻的乾貨，最簡潔的教程，衆多你不知道的小技巧等你來發現！

歡迎關注我的公衆號:「程序那些事」,懂技術，更懂你！