常用視頻像素格式NV12、NV21、I420、YV12、YUYV

原創

小帆别吃糖

2020-02-21 06:45

最近因爲任務需要，遇到視頻像素格式的問題，學習了NV12和YV12，以及UYVY的具體存儲區別。

總結如下：

像素格式描述了像素數據存儲所用的格式，定義了像素在內存中的編碼方式，RGB和YUV是兩種經常使用的像素格式。

RGB：較爲熟悉，具有3個通道R G B，分別對應紅綠藍三個分量，由三個分量的值決定顏色；通常，會給RGB圖像加一個通道alpha，即透明度，於是共有四個分量共同控制顏色。（常用的opencv庫默認將圖片以BGR的方式進行存儲，只是通道順序不一樣而已）

YUV：（YCrCb）是指將亮度參量Y和色度參量U/V分開表示的像素格式，主要用於優化彩色視頻信號的傳輸。

YUV像素格式來源於RGB像素格式，通過公式運算，YUV三分量可以還原出RGB，YUV轉RGB的公式如下：

R = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U

一般，將RGB和YUV的範圍均限制在[0,255]間，則有如下轉換公式：

R = Y + 1.403(V - 128)
G = Y - 0.344(U - 128) - 0.714(V - 128)
B = Y + 1.770(U - 128)

YUV採樣：YUV相比於RGB格式最大的好處是可以做到在保持圖像質量降低不明顯的前提下，減小文件大小。YUV格式之所以能夠做到，是因爲進行了採樣操作。

YUV碼流的存儲格式與其採樣方式密切相關，主流的採樣方式有3種：

YUV 4:4:4**(YUV444), YUV 4:2:2(YUV422), YUV 4:2:0(YUV420)**

若以以黑點表示採樣該像素點的Y分量，以空心圓圈表示採用該像素點的UV分量，則這三種採樣方式如下：

即：

YUV 4:4:4採樣，每一個Y對應一組UV分量。
YUV 4:2:2採樣，每兩個Y共用一組UV分量。
YUV 4:2:0採樣，每四個Y共用一組UV分量。

YUV存儲格式

YUV存儲可以分爲兩種：packed（打包）和planar（平面）；

packed：Y、U、V分量穿插着排列，三個分量存在一個Byte型數組裏；
planar：Y、U、V分量分別存在三個Byte型數組中；

常見的像素格式

1.YUV422：YUYV、YVYU、UYVY、VYUY

這四種格式每一種又可以分爲2類（packed和planar），以YUYV爲例，一個6*4的圖像的存儲方式如下：

Y Y Y Y Y Y                   
Y Y Y Y Y Y                  
Y Y Y Y Y Y                   
Y Y Y Y Y Y                    
U U U U U U                  Y U Y V Y U Y V Y U Y V
U U U U U U                  Y U Y V Y U Y V Y U Y V
V V V V V V                  Y U Y V Y U Y V Y U Y V
V V V V V V                  Y U Y V Y U Y V Y U Y V
- Planar -                          - Packed:YUYV - 

Y Y Y Y Y Y                   
Y Y Y Y Y Y                  
Y Y Y Y Y Y                   
Y Y Y Y Y Y                    
U U U U U U                  U Y V Y U Y V Y U Y V Y
U U U U U U                  U Y V Y U Y V Y U Y V Y
V V V V V V                  U Y V Y U Y V Y U Y V Y
V V V V V V                  U Y V Y U Y V Y U Y V Y
- Planar -                          - Packed:UYVY -

如果實際應用中，從camera那邊取到的數據流是UYVY的格式，但是gl顯示或者圖像處理的相關接口又需要用到BGR或I420（YV12或NV12）的格式，那麼就需要寫代碼進行轉換（下面給出一些示例代碼片段）：

如果要用opencv的接口將UYVY格式轉成YV12格式（則需要先從UYVY轉成BGR或RGB,再將BGR或RGB轉成YV12）：

//pSrcBuf的存儲格式是UYVY
cv::Mat yuv_img = cv::Mat(height, width, CV_8UC2, pSrcBuf);
cv::Mat bgr_img;
cv::cvtColor(yuv_img, bgr_img, CV_YUV2BGR_UYVY);

//pDstBuf的存儲格式是YV12
cv::Mat yv12_img = cv::Mat(height* 3/2, width, CV_8UC1, pDstBuf);
cv::cvtColor(bgr_img, yv12_img, CV_BGR2YUV_YV12);

所以下面直接手動轉換，而不調用opencv的cv::cvtColor接口來轉換，也可以進一步熟悉存儲格式規範。

//從UYVY中獲取Y，並存到一個數組
void UYVYToYRow(const char* src_uyvy, char* dst_y, int width) {
  // Output a row of Y values.
  for (int x = 0; x < width - 1; x += 2) {
    dst_y[x] = src_uyvy[1];
    dst_y[x + 1] = src_uyvy[3];
    src_uyvy += 4;
  }

}
//從UYVY中獲取UV，並分別存到2個數組
void UYVYToUVRow(const char* src_uyvy, int src_stride_uyvy,
                   char* dst_u, char* dst_v, int width) {
  // Output a row of UV values.
  for (int x = 0; x < width-1 ; x += 2) {
    dst_u[0] = src_uyvy[0];
    dst_v[0] = src_uyvy[2];
    src_uyvy += 4;
    dst_u += 1;
    dst_v += 1;
  }
}
int UYVYToI420(const char* src_uyvy, int src_stride_uyvy,
               char* dst_y, int dst_stride_y,
               char* dst_u, int dst_stride_u,
               char* dst_v, int dst_stride_v,
               int width, int height) {


  for (int y = 0; y < height - 1; y += 2) {
    UYVYToUVRow(src_uyvy, src_stride_uyvy, dst_u, dst_v, width);
    UYVYToYRow(src_uyvy, dst_y, width);
    UYVYToYRow(src_uyvy + src_stride_uyvy, dst_y + dst_stride_y, width);
    src_uyvy += src_stride_uyvy * 2;
    dst_y += dst_stride_y * 2;
    dst_u += dst_stride_u;
    dst_v += dst_stride_v;

  }
  
  return 0;
}


UYVYToI420( pSrcBuf, w*2,
            pDstBuf, w,
            pDstBuf + (w*h+w*h/4), w/2, // Put V channel first for YV12
            pDstBuf + (w*h), w/2,            
            w, h
          );

那麼我如何驗證轉換前後的格式是否正確呢？可以分別用cv::cvtColor以及cv::imwrite將圖像dump到本地查看和對比：

//pSrcBuf的存儲格式是UYVY
cv::Mat yuv_img = cv::Mat(height, width, CV_8UC2, pSrcBuf);
cv::Mat bgr_img_src;
cv::cvtColor(yuv_img, bgr_img_src, CV_YUV2BGR_UYVY);
cv::imwrite("UYVY.png", bgr_img_src);

//pDstBuf的存儲格式是YV12
cv::Mat yv12_img = cv::Mat(height* 3/2, width, CV_8UC1, pDstBuf);
cv::Mat bgr_img_dst;
cv::cvtColor(picYV12, bgr_img_dst, CV_YUV2BGR_YV12);
cv::imwrite("YV12.png", bgr_img_dst);

2. YUV420

YUV420p: I420、YV12
YUV420sp: NV12、NV21

同樣，對於一個6*4的圖像，這四種像素格式的存儲方式如下：

Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
U U U U U U      V V V V V V      U V U V U V      V U V U V U
V V V V V V      U U U U U U      U V U V U V      V U V U V U
 - I420 -          - YV12 -         - NV12 -         - NV21 -

注：