FFMpeg的解碼流程

FFMpeg的解碼流程

1. 從基礎談起
先給出幾個概念，以在後面的分析中方便理解
Container:在音視頻中的容器，一般指的是一種特定的文件格式，裏面指明瞭所包含的
    音視頻，字幕等相關信息
Stream:這個詞有些微妙，很多地方都用到，比如TCP，SVR4系統等，其實在音視頻，你
    可以理解爲單純的音頻數據或者視頻數據等
Frames:這個概念不是很好明確的表示，指的是Stream中的一個數據單元，要真正對這
    個概念有所理解，可能需要看一些音視頻編碼解碼的理論知識
Packet:是Stream的raw數據
Codec:Coded + Decoded
其實這些概念在在FFmpeg中都有很好的體現，我們在後續分析中會慢慢看到

2.解碼的基本流程
我很懶，於是還是選擇了從<An ffmpeg and SDL Tutorial>中的流程概述:

10 OPEN video_stream FROM video.avi
20 READ packet FROM video_stream INTO frame
30 IF frame NOT COMPLETE GOTO 20
40 DO SOMETHING WITH frame
50 GOTO 20

這就是解碼的全過程，一眼看去，是不是感覺不過如此:),不過，事情有深有淺，從淺
到深，然後從深回到淺可能纔是一個有意思的過程，我們的故事，就從這裏開始，展開
來講。

3.例子代碼
在<An ffmpeg and SDL Tutorial 1>中，給出了一個陽春版的×××，我們來仔細看看
陽春後面的故事，爲了方便講述，我先貼出代碼：
#include <ffmpeg/avcodec.h>
#include <ffmpeg/avformat.h>

#include <stdio.h>

void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame) {
  FILE *pFile;
  char szFilename[32];
  int  y;
  
  // Open file
  sprintf(szFilename, "frame%d.ppm", iFrame);
  pFile=fopen(szFilename, "wb");
  if(pFile==NULL)
    return;
  
  // Write header
  fprintf(pFile, "P6\n%d %d\n255\n", width, height);
  
  // Write pixel data
  for(y=0; y<height; y++)
    fwrite(pFrame->data[0]+y*pFrame->linesize[0], 1, width*3, pFile);
  
  // Close file
  fclose(pFile);
}

int main(int argc, char *argv[]) {
  AVFormatContext *pFormatCtx;
  int             i, videoStream;
  AVCodecContext  *pCodecCtx;
  AVCodec         *pCodec;
  AVFrame         *pFrame; 
  AVFrame         *pFrameRGB;
  AVPacket        packet;
  int             frameFinished;
  int             numBytes;
  uint8_t         *buffer;
  
  if(argc < 2) {
    printf("Please provide a movie file\n");
    return -1;
  }
  // Register all formats and codecs
  ########################################
  [1]
  ########################################
  av_register_all();
  
  // Open video file
  ########################################
  [2]
  ########################################
  if(av_open_input_file(&pFormatCtx, argv[1], NULL, 0, NULL)!=0)
    return -1; // Couldn't open file
  
  // Retrieve stream information
  ########################################
  [3]
  ########################################
  if(av_find_stream_info(pFormatCtx)<0)
    return -1; // Couldn't find stream information
  
  // Dump information about file onto standard error
  dump_format(pFormatCtx, 0, argv[1], 0);
  
  // Find the first video stream
  videoStream=-1;
  for(i=0; i<pFormatCtx->nb_streams; i++)
    if(pFormatCtx->streams[i]->codec->codec_type==CODEC_TYPE_VIDEO) {
      videoStream=i;
      break;
    }
  if(videoStream==-1)
    return -1; // Didn't find a video stream
  
  // Get a pointer to the codec context for the video stream
  pCodecCtx=pFormatCtx->streams[videoStream]->codec;
  
  // Find the decoder for the video stream
  pCodec=avcodec_find_decoder(pCodecCtx->codec_id);
  if(pCodec==NULL) {
    fprintf(stderr, "Unsupported codec!\n");
    return -1; // Codec not found
  }
  // Open codec
  if(avcodec_open(pCodecCtx, pCodec)<0)
    return -1; // Could not open codec
  
  // Allocate video frame
  pFrame=avcodec_alloc_frame();
  
  // Allocate an AVFrame structure
  pFrameRGB=avcodec_alloc_frame();
  if(pFrameRGB==NULL)
    return -1;
    
  // Determine required buffer size and allocate buffer
  numBytes=avpicture_get_size(PIX_FMT_RGB24, pCodecCtx->width,
                  pCodecCtx->height);
  buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));
  
  // Assign appropriate parts of buffer to p_w_picpath planes in pFrameRGB
  // Note that pFrameRGB is an AVFrame, but AVFrame is a superset
  // of AVPicture
  avpicture_fill((AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24,
         pCodecCtx->width, pCodecCtx->height);
  
  // Read frames and save first five frames to disk
  ########################################
  [4]
  ########################################
  i=0;
  while(av_read_frame(pFormatCtx, &packet)>=0) {
    // Is this a packet from the video stream?
    if(packet.stream_index==videoStream) {
      // Decode video frame
      avcodec_decode_video(pCodecCtx, pFrame, &frameFinished, 
               packet.data, packet.size);
      
      // Did we get a video frame?
      if(frameFinished) {
    // Convert the p_w_picpath from its native format to RGB
    img_convert((AVPicture *)pFrameRGB, PIX_FMT_RGB24, 
                    (AVPicture*)pFrame, pCodecCtx->pix_fmt, 
                    pCodecCtx->width, 
                    pCodecCtx->height);
    
    // Save the frame to disk
    if(++i<=5)
      SaveFrame(pFrameRGB, pCodecCtx->width, pCodecCtx->height, 
            i);
      }
    }
    
    // Free the packet that was allocated by av_read_frame
    av_free_packet(&packet);
  }
  
  // Free the RGB p_w_picpath
  av_free(buffer);
  av_free(pFrameRGB);
  
  // Free the YUV frame
  av_free(pFrame);
  
  // Close the codec
  avcodec_close(pCodecCtx);
  
  // Close the video file
  av_close_input_file(pFormatCtx);
  
  return 0;
}

代碼註釋得很清楚，沒什麼過多需要講解的，關於其中的什麼YUV420，RGB，PPM等格式
，如果不理解，麻煩還是google一下，也可以參考:http://barrypopy.cublog.cn/裏面
的相關文章

其實這部分代碼，很好了Demo了怎麼樣去抓屏功能的實現，但我們得去看看魔術師在後
臺的一些手法，而不只是簡單的享受其表演。

4.背後的故事
真正的難度，其實就是上面的[1],[2],[3],[4],其他部分，都是數據結構之間的轉換，
如果你認真看代碼的話，不難理解其他部分。

[1]:沒什麼太多好說的，如果不明白，看我轉載的關於FFmepg框架的文章

[2]:先說說裏面的AVFormatContext *pFormatCtx結構，字面意思理解AVFormatContext
就是關於AVFormat(其實就是我們上面說的Container格式)的所處的Context(場景)，自
然是保存Container信息的總控結構了，後面你也可以看到，基本上所有的信息，都可
以從它出發而獲取到
    
我們來看看av_open_input_file()都做了些什麼：
[libavformat/utils.c]
int av_open_input_file(AVFormatContext **ic_ptr, const char *filename,
                       AVInputFormat *fmt,
                       int buf_size,
                       AVFormatParameters *ap)
{
    ......
    if (!fmt) {
        /* guess format if no file can be opened */
        fmt = av_probe_input_format(pd, 0);
    }

   ......
    err = av_open_input_stream(ic_ptr, pb, filename, fmt, ap);
   ......
}

這樣看來，只是做了兩件事情：
1). 偵測容器文件格式
2). 從容器文件獲取Stream的信息

這兩件事情，實際上就是調用特定文件的demuxer以分離Stream的過程:

具體流程如下:

av_open_input_file
    |
    +---->av_probe_input_format從first_iformat中遍歷註冊的所有demuxer以 
    |     調用相應的probe函數
    |
    +---->av_open_input_stream調用指定demuxer的read_header函數以獲取相關
          流的信息ic->iformat->read_header

如果反過來再參考我轉貼的關於ffmpeg框架的文章，是否清楚一些了呢:)

[3]:簡單從AVFormatContext獲取Stream的信息，沒什麼好多說的

[4]:先簡單說一些ffmpeg方面的東西，從理論角度說過來，Packet可以包含frame的部
分數據，但ffmpeg爲了實現上的方便，使得對於視頻來說，每個Packet至少包含一
frame,對於音頻也是相應處理，這是實現方面的考慮，而非協議要求.
因此，在上面的代碼實際上是這樣的：
    從文件中讀取packet，從Packet中解碼相應的frame;
    從幀中解碼;
    if(解碼幀完成)
        do something();

我們來看看如何獲取Packet,又如何從Packet中解碼frame的。

av_read_frame
    |
    +---->av_read_frame_internal
        |
        +---->av_parser_parse調用的是指定×××的s->parser->parser_parse函數以從raw packet中重構frame

avcodec_decode_video
    |
    +---->avctx->codec->decode調用指定Codec的解碼函數
    
因此，從上面的過程可以看到，實際上分爲了兩部分：

一部分是解複用(demuxer),然後是解碼(decode)

使用的分別是：
av_open_input_file()            ---->解複用

av_read_frame()                  |
                                                 |    ---->解碼    
avcodec_decode_video()     |

5.後面該做些什麼
結合這部分和轉貼的ffmepg框架的文章，應該可以基本打通解碼的流程了，後面的問題則是針對具體容器格式和具體編碼×××的分析，後面我們繼續


參考：
[1]. <An ffmpeg and SDL Tutorial> 
     http://www.dranger.com/ffmpeg/tutorial01.html
     
[2]. <FFMpeg框架代碼閱讀>
     http://blog.csdn.net/wstarx/archive/2007/04/20/1572393.aspx