上一篇文章(http://my.oschina.net/u/2336532/blog/400790)我們解決了在FFmpeg下如何處理H264和AAC的擴展數據,根據解出的NALU長度恢復了H264的起始碼和AAC的ADTS頭,這樣一般來說播放是沒有問題。本篇文章來談談如何實現基於FFmpeg的track mode控制,也就是如何用FFmpeg提供的功能來實現基本的seek、快進、快退。好了,廢話少了,下面開始基於FFmpeg的track mode之旅。
FFmpeg提供了一個seek函數,原型如下:
int av_seek_frame(AVFormatContext *s, int stream_index, int64_t timestamp, int flags);
參數說明:
s:操作上下文;
stream_index:基本流索引,表示當前的seek是針對哪個基本流,比如視頻或者音頻等等。
timestamp:要seek的時間點,以time_base或者AV_TIME_BASE爲單位。
Flags:seek標誌,可以設置爲按字節,在按時間seek時取該點之前還是之後的關鍵幀,以及不按關鍵幀seek等,詳細請參考FFmpeg的avformat.h說明。基於FFmpeg的所有track mode幾乎都是用這個函數來直接或間接實現的。
文件的seek功能實現
要轉跳到視頻100秒(100 000毫秒)處的第一個I幀(如果沒有則向前找第一個):
av_seek_frame(pFormatCtx, vid_index, 100000*vid_time_scale/time_base, AVSEEK_FLAG_BACKWARD);
跳到音頻80秒(80 000毫秒)處的幀(採樣):
av_seek_frame(pFormatCtx, aud_index, 80000*aud_time_scale/ time_base, AVSEEK_FLAG_BACKWARD);
跳到文件開始的地方開始播放:
av_seek_frame(pFormatCtx, vid_index, 0, AVSEEK_FLAG_BACKWARD);
上面的time_scale、time_base都能通過流信息獲取到,請參考前面的文章。有的文件不一定能seek成功,可以考慮在失敗的情況下將AVSEEK_FLAG_BACKWARD改爲AVSEEK_FLAG_ANY再次seek,不過seek到的視頻幀可能不是I幀。
這個函數不管你當前在什麼時間點上,都可以seek到任何合理位置。比如要實現在當前的基礎上向後或向前跳轉10秒,我們可以在av_read_frame函數拿到的包中含有當前時間戳的基礎上增加或較少一個10000(換算成播放時間單位)再seek即可。所以這個函數可以用做進度的拖放、前進/後退一定時間、循環播放等功能。
快進快退
對於快進來說,一般解碼器能實現2倍甚至再高倍速的播放,這種情況直接按照上一篇文章的基本播放流程就可以了。但對於4倍、8倍、16倍、32倍等高速播放,一般不能像傳統播放那樣一幀一幀的送數據,不只是解碼能力問題,數據讀取也可能因爲帶寬不夠跟不上,我們只能提取其中的I幀進行播放,將B幀和P幀丟掉。下面我們就來討論這個過程的實現流程。
快進時,通過當前數據包獲得當前的時間PTS,將該PTS換算成時間再加上一小段時間,作爲seek時間點向後找關鍵幀,此時flags可設置爲AVSEEK_FLAG_FRAME。之後用av_read_frame獲取到該關鍵幀。完成該幀解碼顯示後,再在該幀的PTS時間上增加一小段時間後seek,這樣一直重複上述過程,流程如下圖:
快退時,通過當前數據包獲得當前的時間PTS,將該PTS換算成時間再減去一小段時間,作爲seek時間點向前找關鍵幀,此時flags可設置爲AVSEEK_FLAG_BACKWARD。之後用av_read_frame獲取到該關鍵幀。完成該幀解碼顯示後,再在該幀的PTS時間上減去一小段時間後seek,這樣一直重複上述結果,過程如下圖:
這樣,我們通過以上對av_seek_frame函數的運用,即可完成文件playback的各種track mode實現,其實理解了這個函數後,你還會有很多其他辦法來實現,這裏只是提供了一種簡單且佔內存少的辦法。在特定的情況下還可以先全部走一遍所有幀,並記錄下全部的I幀的時間戳、幀編號、位置信息等需要的信息,然後直接從該表裏面獲取信息後進行seek和讀取這些關鍵幀進行快速播放。
想第一時間獲得更多原創文章,請關注個人微信公衆平臺:程序員互動聯盟(coder_online),掃一掃下方二維碼或者搜索微信號coder_online即可關注,裏面有大量Android,Chromium,Linux,編程技巧等相關文章等着您,我們還可以在線交流。
如需轉載本文,請註明出處:http://my.oschina.net/u/2336532。
謝謝合作!