【Android RTMP】安卓直播推流總結 ( 直播服務器搭建 | NV21 圖像採集 | H.264 視頻編碼 | PCM 音頻採集 | AAC 音頻編碼 | RTMP 包封裝推流 )

Android 直播推流流程 : 手機採集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最後將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;

視頻推流 : 之前的一系列博客中完成手機端採集視頻數據操作 , 並將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉爲 H.264 格式的視頻 , 最後將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;

音頻推流 : 開始進行音頻直播推流操作 , 先採集音頻 , 將音頻編碼爲 AAC 格式 , 將編碼後的音頻打包成 RTMP 包 , 然後推流到服務器中 ;

一、 安卓直播推流專欄博客總結

---

Android RTMP 直播推流技術專欄 :

0 . 資源和源碼地址 :

• 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
• GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;

• 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :

• 【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )

• 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )

3. 講解 RTMP 數據包封裝格式 :

• 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標籤 Tag 分析 | 視頻標籤 Tag 數據分析 )

• 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數據採集 : 從 Camera 攝像頭中採集 NV21 格式的圖像數據 , 並預覽該數據 ;

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( 視頻採集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )

5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :

• 【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )

• 【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據採集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )

• 【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼後的數據處理 | 封裝 H.264 視頻數據幀 )

• 【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啓用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )

7. 階段總結 : 阿里雲服務器中搭建 RTMP 服務器 , 並使用電腦軟件推流和觀看直播內容 ;

• 【Android RTMP】RTMP 直播推流 ( 阿里雲服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )

• 【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )

8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :

• 【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )

• 【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 後置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )

9. 下面這篇博客比較重要 , 裏面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;

• 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 後置攝像頭圖像旋轉效果展示 )

10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :

• 【Android RTMP】音頻數據採集編碼 ( 音頻數據採集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻採樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

• 【Android RTMP】音頻數據採集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標籤解析 | AAC 音頻數據標籤頭 | 音頻解碼配置信息 )

12 . 將麥克風採集的 PCM 音頻採樣編碼成 AAC 格式音頻 , 並封裝到 RTMP 包中 , 推流到客戶端 :

• 【Android RTMP】音頻數據採集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻採樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

二、 相關資源介紹

---

下載地址 : https://download.csdn.net/download/han1202012/12536735

整理了 RTMP 專欄中的博客中的資源 , 從服務器搭建的 Nginx 服務器 , 到使用的 x264 , RTMPDump , FAAC 開源庫源碼 , 及交叉編譯結果 , 還有分析 RTMP 文件格式工具 , 以及可運行的 Android 應用源碼 ( 修改下 服務器的 IP 地址 , 即可進行直播推流操作 ) ;

001_服務器搭建需要上傳的文件

002_遠程Linux控制工具

這是服務器搭建需要的文件 , 按照 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 後置攝像頭圖像旋轉效果展示 ) 博客中的操作說明搭建即可 ;

003_Android_應用程序_源碼

整個直播推流的 Android 端源碼 , 包含已經交叉編譯後的 x264 , faac 靜態庫 , RTMPDump 包源文件 , Camera 圖像採集 , H.264 視頻編碼 , RTMP 推流 , 麥克風採集 PCM 音頻樣本, FAAC 音頻編碼爲 AAC 格式 , RTMP 打包推流 , 整個過程 ;

005_RTMPDump_源碼_直接拷貝到AS使用

直接使用即可 , 已經集成到了 Android 應用中 , 參考該博客內容 【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 ) ;

006_x264_源碼

007_x264_編譯好的Android函數庫

這是 x264 源碼和已經交叉編譯好的 Android 平臺可用的靜態庫 , 如果想要自己在 Ubuntu 中交叉編譯一下 , 參考博客 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )

008_FAAC_源碼

009_FAAC_交叉編譯後的靜態庫

這是 FAAC 源碼和已經交叉編譯好的 Android 平臺可用的靜態庫 , 如果想要自己在 Ubuntu 中交叉編譯一下 , 參考博客
【Android RTMP】音頻數據採集編碼 ( 音頻數據採集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
【Android RTMP】音頻數據採集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻採樣 PCM 格式 )

010_二進制查看工具

011_FLV_視頻文件分析工具

012_FLV格式視頻文件

分析 RTMP 數據包時需要的工具 , 具體的數據信息我已經在博客中截圖下來了 , 如果自己想要查看 , 自行下載分析 ;

參考博客
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標籤 Tag 分析 | 視頻標籤 Tag 數據分析 )
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )
【Android RTMP】音頻數據採集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標籤解析 | AAC 音頻數據標籤頭 | 音頻解碼配置信息 )

三、 GitHub 源碼地址

---

han1202012 / RTMP_Pusher

四、 整體 Android 直播推流數據到服務器並觀看直播演示過程

---

1 . 服務器搭建 : 按照

【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )
【Android RTMP】RTMP 直播推流 ( 阿里雲服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )

博客中的操作 , 購買阿里雲服務器 , 或者在本地虛擬機中運行該博客中的一鍵安裝腳本 ;

2 . Android 客戶端修改 : 從 GitHub 或者 CSDN 資源下載處獲取源碼 , 將 RTMP_Pusher 項目中的地址修改成你的服務器地址 , 即可點擊開始推流 , 即可開始直播推流 ;

修改源碼 : 在主界面 MainActivity 中 , 將 IP 地址直接替換成你搭建的服務器 IP 地址 , 即可開始直播推流操作 ;

3 . 服務器端網頁修改 :

參考 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 後置攝像頭圖像旋轉效果展示 ) __ 四、瀏覽器查看直播內容 內容 , 修改服務器端 /root/rtmp/nginx-rtmp-module-1.2.1/test/www/index.html 頁面中的直播源 IP 地址爲搭建的服務器 IP 地址 ;

此時使用 RTMP 服務器提供的網頁端的 JWPlayer 播放 Android 手機端推流上去的視頻 ;

4 . 手機端開啓直播 :

5 . 查看服務器端直播狀態 : 可以看到 視頻 和 音頻都推流到了服務器中 ;

6 . 服務器端 JWPlayer 查看直播內容 :