使用MediaCodec和RTMP做直播推流原薦

本項目完全開源項目Github地址：AndroidInstantVideo 碼雲地址：AndroidInstantVideo

目前開源的項目或市面上的Android直播客戶端主要是用ffmpeg來實現推流的。本文將介紹使用Android原生的視頻編碼類MediaCodec實現直播推流。

數據流及大致原理

這裏所說的直播，就是將你的客戶端產生的視頻數據，實時發送到服務器上。服務器上的數據再實時地發送到播放客戶端上。

以視頻數據爲例：

獲取Camera畫面 首先是攝像頭拍攝得到原始畫面數據，這裏原始畫面數據的格式我們不用管，因爲我們使用的是MediaCodec，所以我們會使用 camera.setPreviewTexture(surfaceTexture) 來利用Camera獲取到的畫面。

此處的原理可忽略，大致說明的話，就是Camera會把獲得的畫面保存爲OpenGL的一個紋理，我們使用這個紋理就能使用Camera的畫面。

繪製畫面 在獲得畫面之後，我們要把這個畫面（紋理）“畫”到MediaCodec上。

如何畫？ MediaCodec提供一張’白紙’，也就是一個Surface，供我們把紋理畫到上面。此處的API是 MediaCodec.createInputSurface()

怎麼畫？用Canvas畫。當然不是一般的Canvas，我用了這個開源項目android-openGL-canvas。

H264數據 畫上去後，MediaCodec就會幫我們把原始畫面數據，壓縮成相應的視頻數據，目前我這裏是壓縮成H264數據。所謂的H264數據，其實只是一堆堆的byte[]數組。在項目的例子，我把H264數據寫成了文件，可以用某些播放器播放（例如PotPlayer）。

RTMP 我使用了一個開源項目，可以將視頻數據封成RTMP包，發送到服務器上。 LibRtmp-Client-for-Android

總結數據流可以這樣看 Camera -> SurfaceTexture -> Surface -> MediaCodec -> encode data(byte[]) -> RTMPMuxer -> Server

音頻數據：

相對簡單一些，就是從AudioRecord裏獲取原始音頻數據（byte[])，編碼成AAC數據（也是byte[])，然後給RTMPMuxer，封裝成RTMP包，發到服務器

麥克風MIC -> AudioRecord -> voice data(就是byte[]) -> MediaCodec -> encode data(就是byte[]) -> RTMPMuxer -> Server

Muxer

前面有提到有視頻的RTMP包和音頻的RTMP包，分別是將單元H264和單元AAC封裝成RTMP包，發到服務器。這些包之間有什麼規律？這些包之間是按時間順序排列的，MediaCodec返回編碼數據時，會返回編碼數據的時間戳。但注意編碼成RTMP包時，取的是相對時間戳，也就是說取到時間戳時，需要計算與上一個包的時間戳的差值，寫到RTMP包裏。

另外RTMP流本質上是FLV格式的音視頻，這裏也提供了寫成FLV文件的功能。

效果圖

PC播放端

Android推流端

視頻幀圖像處理

前面提到視頻幀的圖像處理，實際上也是利用了android-openGL-canvas。

關鍵代碼如下：

    ...
    streamPublisher.prepareEncoder(streamPublisherParam, new H264Encoder.OnDrawListener() {
        @Override
        public void onGLDraw(ICanvasGL canvasGL, SurfaceTexture surfaceTexture, RawTexture rawTexture, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) {
            drawVideoFrame(canvasGL, outsideSurfaceTexture, outsideTexture);

            Loggers.i("DEBUG", "gl draw");
        }
    });
    ...

    private void drawVideoFrame(ICanvasGL canvasGL, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) {
        // Here you can do video process
        // 此處可以視頻處理，例如加水印等等
        TextureFilter textureFilterLT = new BasicTextureFilter();
        TextureFilter textureFilterRT = new HueFilter(180);
        int width = outsideTexture.getWidth();
        int height = outsideTexture.getHeight();
        canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, 0, width /2, height /2, textureFilterLT);
        canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, height/2, width/2, height, textureFilterRT);

    }
    ...

如上所示，可以使用各種Filter實現對視頻幀圖像的處理。總而言之，可以像Canvas那樣在視頻幀上繪製各種東西。當然要在圖上畫文字就只能用bitmap代替了。

碼率bit/s

在使用MediaCodec時，需要設置碼率。這個碼率是根據視頻分辨率，色彩格式算出來的。

    public H264Encoder(int width, int height, int bitRate, int frameRate, int iframeInterval, final EglContextWrapper eglCtx) throws IOException

其中bitRate就是碼率，單位bit/s

一些計算方法可以參考此文： What bitrate should I use when encoding my video? Output size Bitrate Filesize 320x240 pixels 400 kbps 3MB / minute 480x270 pixels 700 kbps 5MB / minute 1024 x 576 pixels 1500 kbps 11MB / minute 1280x720 pixels 2500 kbps 19MB / minute 1920x1080 pixels 4000 kbps 30MB / minute

此方法大部分情況下夠用，但是對於複雜視頻處理還欠缺。例如對比下圖的無處理效果（一張紋理）

對於下圖這樣處理效果（2個畫面用的是與上圖同樣大小的紋理，雖然我設置顯示的尺寸不一樣），碼率是上圖的2倍左右。

測試服務器

需要測試的話，請自行搭建RTMP服務器。我用的是自己搭建的Nginx服務器，用的Module是nginx-rtmp-module。搭建服務器不需要寫代碼，根據教程敲幾行命令就行。可以用開源直播軟件OBS對比播放效果。播放器用各種都行，VLC，PotPlayer，ffplay都可以。我用的是ffplay，注意，因爲只是簡單的服務器，所以要先開播放器連接後再開始啓動推流。我使用的命令是 .\ffplay.exe "rtmp://localhost:19305/live/room live=1"

另外可以使用一下軟件查看生成的文件的詳情。

看H264文件 H.264視頻碼流解析--雷霄驊