音視頻編解碼原理基礎

1.音視頻播放器原理

音視頻技術主要包含以下幾點:封裝技術,視頻壓縮編碼技術和音頻編碼壓縮技術。

如果解碼本地視頻,則不需要解協議:解封裝->解碼音視頻->音視頻同步;

解協議的作用:將流媒體協議的數據解析爲標準的響應的封裝格式的數據,音視頻在網絡上傳輸時常常採用各種流媒體協議,例如HTTP、RPMP和MMS等等,這些協議在傳輸音視頻時也會傳輸一些信令數據,這些信令數據包含播放、暫停和停止等,或者對網絡狀態的描述。解協議的過程就是去掉這些信令指令,只保留音視頻數據。例如:採用RTMP協議發送的數據,經過解協議後,得到輸出結果爲flv的封裝格式數據。

解封裝的作用: 將輸入的封裝格式的數據,分離成音頻流壓縮的數據和視頻流壓縮的數據,封裝格式種類很多,例如MP4,MKV,RMVB,TS,FLV,AVI等等。它的作用就是將已經壓縮編碼的視頻數據和音頻數據按照一定的格式放到一起。例如:FLV封裝格式的數據解封裝後,輸出H264的視頻碼流和AAC的音頻碼流。

解碼的作用: 就是將音頻/視頻的壓縮編碼數據,解碼成爲非壓縮的音視/視頻的原始數據。音頻的壓縮編碼標準包含AAC,MP3,AC-3等,視頻的壓縮編碼標準包含H264,MPEG2,VC-1等等。解碼的過程是整個系統中總重要和最複雜的一個環節,通過解碼,壓縮的視頻數據輸出爲非壓縮的顏色數據,例如YUV420P、RGB等等,壓縮的音頻數據輸出爲非壓縮的音頻抽樣數據,例如PCM的數據。

音視頻同步的作用: 將解封裝過程得到的參數信息和同步解碼得到的音視頻數據,推送到系統的顯卡和聲卡顯示出來。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章