將H264碼流打包成RTP包

轉載地址將H264碼流打包成RTP包:http://blog.csdn.net/chenchong_219/article/details/37996161


H264碼流打包成RTP包的代碼如下:

#include <stdio.h>  
#include <stdlib.h>  
#include <conio.h>  
#include <string.h>  
  
#include <winsock2.h>  
#include <winsock2.h>  
  
//#include "mem.h"  
  
  
#define PACKET_BUFFER_END            (unsigned int)0x00000000  
  
  
#define MAX_RTP_PKT_LENGTH     1400  
  
#define DEST_IP                "180.101.59.185"  
#define DEST_PORT            1234  
  
#define H264                    96  
  
typedef struct   
{  
    /**//* byte 0 */  
    unsigned char csrc_len:4;        /**//* expect 0 */  
    unsigned char extension:1;        /**//* expect 1, see RTP_OP below */  
    unsigned char padding:1;        /**//* expect 0 */  
    unsigned char version:2;        /**//* expect 2 */  
    /**//* byte 1 */  
    unsigned char payload:7;        /**//* RTP_PAYLOAD_RTSP */  
    unsigned char marker:1;        /**//* expect 1 */  
    /**//* bytes 2, 3 */  
    unsigned short seq_no;              
    /**//* bytes 4-7 */  
    unsigned  long timestamp;          
    /**//* bytes 8-11 */  
    unsigned long ssrc;            /**//* stream number is used here. */  
} RTP_FIXED_HEADER;  
  
typedef struct {  
    //byte 0  
    unsigned char TYPE:5;  
    unsigned char NRI:2;  
    unsigned char F:1;      
  
} NALU_HEADER; /**//* 1 BYTES */  
  
typedef struct {  
    //byte 0  
    unsigned char TYPE:5;  
    unsigned char NRI:2;   
    unsigned char F:1;      
  
  
} FU_INDICATOR; /**//* 1 BYTES */  
  
typedef struct {  
    //byte 0  
    unsigned char TYPE:5;  
    unsigned char R:1;  
    unsigned char E:1;  
    unsigned char S:1;      
} FU_HEADER; /**//* 1 BYTES */  
  
BOOL InitWinsock();  

#include <stdio.h>  
#include <stdlib.h>  
#include <string.h>  
#include <memory.h>  
#include "h264.h"  
  
#pragma comment(lib,"ws2_32.lib")  
  
typedef struct  
{  
    int startcodeprefix_len;      //! 4 for parameter sets and first slice in picture, 3 for everything else (suggested)  
    unsigned len;                 //! Length of the NAL unit (Excluding the start code, which does not belong to the NALU)  
    unsigned max_size;            //! Nal Unit Buffer size  
    int forbidden_bit;            //! should be always FALSE  
    int nal_reference_idc;        //! NALU_PRIORITY_xxxx  
    int nal_unit_type;            //! NALU_TYPE_xxxx      
    char *buf;                    //! contains the first byte followed by the EBSP  
    unsigned short lost_packets;  //! true, if packet loss is detected  
} NALU_t;  
  
FILE *bits = NULL;                //!< the bit stream file  
static int FindStartCode2 (unsigned char *Buf);//查找開始字符0x000001  
static int FindStartCode3 (unsigned char *Buf);//查找開始字符0x00000001  
//static bool flag = true;  
static int info2=0, info3=0;  
RTP_FIXED_HEADER        *rtp_hdr;  
  
NALU_HEADER     *nalu_hdr;  
FU_INDICATOR    *fu_ind;  
FU_HEADER       *fu_hdr;  
  
BOOL InitWinsock()  
{  
    int Error;  
    WORD VersionRequested;  
    WSADATA WsaData;  
    VersionRequested=MAKEWORD(2,2);  
    Error=WSAStartup(VersionRequested,&WsaData); //啓動WinSock2  
    if(Error!=0)    
    {  
        return FALSE;  
    }  
    else  
    {  
        if(LOBYTE(WsaData.wVersion)!=2||HIBYTE(WsaData.wHighVersion)!=2)  
        {  
            WSACleanup();  
            return FALSE;  
        }  
  
    }  
    return TRUE;  
}  
  
//爲NALU_t結構體分配內存空間  
NALU_t *AllocNALU(int buffersize)  
{  
    NALU_t *n;  
  
    if ((n = (NALU_t*)calloc (1, sizeof (NALU_t))) == NULL)  
    {  
        printf("AllocNALU: n");  
        exit(0);  
    }  
  
    n->max_size=buffersize;  
  
    if ((n->buf = (char*)calloc (buffersize, sizeof (char))) == NULL)  
    {  
        free (n);  
        printf ("AllocNALU: n->buf");  
        exit(0);  
    }  
  
    return n;  
}  
//釋放  
void FreeNALU(NALU_t *n)  
{  
    if (n)  
    {  
        if (n->buf)  
        {  
            free(n->buf);  
            n->buf=NULL;  
        }  
        free (n);  
    }  
}  
  
void OpenBitstreamFile (char *fn)  
{  
    if (NULL == (bits=fopen(fn, "rb")))  
    {  
        printf("open file error\n");  
        exit(0);  
    }  
}  
//這個函數輸入爲一個NAL結構體,主要功能爲得到一個完整的NALU並保存在NALU_t的buf中,獲取他的長度,填充F,IDC,TYPE位。  
//並且返回兩個開始字符之間間隔的字節數,即包含有前綴的NALU的長度  
int GetAnnexbNALU (NALU_t *nalu)  
{  
    int pos = 0;  
    int StartCodeFound, rewind;  
    unsigned char *Buf;  
  
    if ((Buf = (unsigned char*)calloc (nalu->max_size , sizeof(char))) == NULL)   
    {  
       printf ("GetAnnexbNALU: Could not allocate Buf memory\n");  
    }  
          
  
    nalu->startcodeprefix_len=3;//初始化碼流序列的開始字符爲3個字節  
  
    if (3 != fread (Buf, 1, 3, bits))//從碼流中讀3個字節  
    {  
        free(Buf);  
        return 0;  
    }  
    info2 = FindStartCode2 (Buf);//判斷是否爲0x000001   
    if(info2 != 1)   
    {  
        //如果不是,再讀一個字節  
        if(1 != fread(Buf+3, 1, 1, bits))//讀一個字節  
        {  
            free(Buf);  
            return 0;  
        }  
        info3 = FindStartCode3 (Buf);//判斷是否爲0x00000001  
        if (info3 != 1)//如果不是,返回-1  
        {   
            free(Buf);  
            return -1;  
        }  
        else   
        {  
            //如果是0x00000001,得到開始前綴爲4個字節  
            pos = 4;  
            nalu->startcodeprefix_len = 4;  
        }  
    }  
  
    else  
    {  
        //如果是0x000001,得到開始前綴爲3個字節  
        nalu->startcodeprefix_len = 3;  
        pos = 3;  
    }  
  
    //查找下一個開始字符的標誌位  
    StartCodeFound = 0;  
    info2 = 0;  
    info3 = 0;  
  
    while (!StartCodeFound)  
    {  
        if (feof (bits))//判斷是否到了文件尾,文件結束,則返回非0值,否則返回0  
        {  
            nalu->len = (pos-1)-nalu->startcodeprefix_len;  //NALU單元的長度。  
            memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);       
            nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bit  
            nalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bit  
            nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bit  
            free(Buf);  
            return pos-1;  
        }  
        Buf[pos++] = fgetc (bits);//讀一個字節到BUF中  
        info3 = FindStartCode3(&Buf[pos-4]);//判斷是否爲0x00000001  
        if(info3 != 1)  
        {  
           info2 = FindStartCode2(&Buf[pos-3]);//判斷是否爲0x000001  
        }  
              
        StartCodeFound = (info2 == 1 || info3 == 1);  
    }  
  
    // Here, we have found another start code (and read length of startcode bytes more than we should  
    // have.  Hence, go back in the file  
    rewind = (info3 == 1)? -4 : -3;  
  
    if (0 != fseek (bits, rewind, SEEK_CUR))//把文件指針指向前一個NALU的末尾,在當前文件指針位置上偏移 rewind。  
    {  
        free(Buf);  
        printf("GetAnnexbNALU: Cannot fseek in the bit stream file");  
    }  
  
    // Here the Start code, the complete NALU, and the next start code is in the Buf.    
    // The size of Buf is pos, pos+rewind are the number of bytes excluding the next  
    // start code, and (pos+rewind)-startcodeprefix_len is the size of the NALU excluding the start code  
  
    nalu->len = (pos+rewind)-nalu->startcodeprefix_len;    //NALU長度,不包括頭部。  
    memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);//拷貝一個完整NALU,不拷貝起始前綴0x000001或0x00000001  
    nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bit  
    nalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bit  
    nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bit  
    free(Buf);  
  
    return (pos+rewind);//返回兩個開始字符之間間隔的字節數,即包含有前綴的NALU的長度  
}  
//輸出NALU長度和TYPE  
void dump(NALU_t *n)  
{  
    if (!n)return;  
    //printf("a new nal:");  
    printf(" len: %d  ", n->len);  
    printf("nal_unit_type: %x\n", n->nal_unit_type);  
}  
  
int main(int argc, char* argv[])  
{  
    OpenBitstreamFile("./test2.264");//打開264文件,並將文件指針賦給bits,在此修改文件名實現打開別的264文件。  
    NALU_t *n;  
    char* nalu_payload;    
    char sendbuf[1500];  
  
    unsigned short seq_num =0;  
    int bytes=0;  
    InitWinsock(); //初始化套接字庫  
    SOCKET    socket1;  
    struct sockaddr_in server;  
    int len =sizeof(server);  
    float framerate=15;  
    unsigned int timestamp_increse=0,ts_current=0;  
    timestamp_increse=(unsigned int)(90000.0 / framerate); //+0.5);  //時間戳,H264的視頻設置成90000  
  
    server.sin_family=AF_INET;  
    server.sin_port=htons(DEST_PORT);            
    server.sin_addr.s_addr=inet_addr(DEST_IP);   
    socket1=socket(AF_INET,SOCK_DGRAM,0);  
    connect(socket1, (const sockaddr *)&server, len) ;//申請UDP套接字  
    n = AllocNALU(8000000);//爲結構體nalu_t及其成員buf分配空間。返回值爲指向nalu_t存儲空間的指針  
  
    while(!feof(bits))   
    {  
        GetAnnexbNALU(n);//每執行一次,文件的指針指向本次找到的NALU的末尾,下一個位置即爲下個NALU的起始碼0x000001  
        dump(n);//輸出NALU長度和TYPE  
  
    //(1)一個NALU就是一個RTP包的情況: RTP_FIXED_HEADER(12字節)  + NALU_HEADER(1字節) + EBPS  
        //(2)一個NALU分成多個RTP包的情況: RTP_FIXED_HEADER (12字節) + FU_INDICATOR (1字節)+  FU_HEADER(1字節) + EBPS(1400字節)  
  
        memset(sendbuf,0,1500);//清空sendbuf;此時會將上次的時間戳清空,因此需要ts_current來保存上次的時間戳值  
        //rtp固定包頭,爲12字節,該句將sendbuf[0]的地址賦給rtp_hdr,以後對rtp_hdr的寫入操作將直接寫入sendbuf。  
        rtp_hdr =(RTP_FIXED_HEADER*)&sendbuf[0];   
        //設置RTP HEADER,  
        rtp_hdr->payload     = H264;  //負載類型號,  
        rtp_hdr->version     = 2;  //版本號,此版本固定爲2  
        rtp_hdr->marker    = 0;   //標誌位,由具體協議規定其值。  
        rtp_hdr->ssrc        = htonl(10);    //隨機指定爲10,並且在本RTP會話中全局唯一  
  
        //  當一個NALU小於1400字節的時候,採用一個單RTP包發送  
        if(n->len <= 1400)  
        {     
            //設置rtp M 位;  
            rtp_hdr->marker = 1;  
            rtp_hdr->seq_no  = htons(seq_num ++); //序列號,每發送一個RTP包增1,htons,將主機字節序轉成網絡字節序。  
            //設置NALU HEADER,並將這個HEADER填入sendbuf[12]  
            nalu_hdr =(NALU_HEADER*)&sendbuf[12]; //將sendbuf[12]的地址賦給nalu_hdr,之後對nalu_hdr的寫入就將寫入sendbuf中;  
            nalu_hdr->F = n->forbidden_bit;  
            nalu_hdr->NRI=n->nal_reference_idc>>5;//有效數據在n->nal_reference_idc的第6,7位,需要右移5位才能將其值賦給nalu_hdr->NRI。  
            nalu_hdr->TYPE=n->nal_unit_type;  
  
            nalu_payload=&sendbuf[13];//同理將sendbuf[13]賦給nalu_payload  
            memcpy(nalu_payload,n->buf+1,n->len-1);//去掉nalu頭的nalu剩餘內容寫入sendbuf[13]開始的字符串。  
  
            ts_current = ts_current + timestamp_increse;  
            rtp_hdr->timestamp=htonl(ts_current);  
            bytes=n->len + 12 ;  //獲得sendbuf的長度,爲nalu的長度(包含NALU頭但除去起始前綴)加上rtp_header的固定長度12字節  
            send(socket1, sendbuf, bytes, 0);//發送rtp包  
            //  Sleep(100);  
  
        }  
  
        else if(n->len > 1400)  //這裏就要分成多個RTP包發送了。  
        {  
            //得到該nalu需要用多少長度爲1400字節的RTP包來發送  
            int k = 0, last = 0;  
            k = n->len / 1400;//需要k個1400字節的RTP包,這裏爲什麼不加1呢?因爲是從0開始計數的。  
            last = n->len % 1400;//最後一個RTP包的需要裝載的字節數  
            int t = 0;//用於指示當前發送的是第幾個分片RTP包  
            ts_current = ts_current + timestamp_increse;  
            rtp_hdr->timestamp = htonl(ts_current);  
            while(t <= k)  
            {  
                rtp_hdr->seq_no = htons(seq_num++); //序列號,每發送一個RTP包增1  
                if(!t)//發送一個需要分片的NALU的第一個分片,置FU HEADER的S位,t = 0時進入此邏輯。  
                {  
                    //設置rtp M 位;  
                    rtp_hdr->marker = 0;  //最後一個NALU時,該值設置成1,其他都設置成0。  
                    //設置FU INDICATOR,並將這個HEADER填入sendbuf[12]  
                    fu_ind =(FU_INDICATOR*)&sendbuf[12]; //將sendbuf[12]的地址賦給fu_ind,之後對fu_ind的寫入就將寫入sendbuf中;  
                    fu_ind->F = n->forbidden_bit;  
                    fu_ind->NRI = n->nal_reference_idc >> 5;  
                    fu_ind->TYPE = 28;  //FU-A類型。  
  
                    //設置FU HEADER,並將這個HEADER填入sendbuf[13]  
                    fu_hdr =(FU_HEADER*)&sendbuf[13];  
                    fu_hdr->E = 0;  
                    fu_hdr->R = 0;  
                    fu_hdr->S = 1;  
                    fu_hdr->TYPE = n->nal_unit_type;  
  
                    nalu_payload = &sendbuf[14];//同理將sendbuf[14]賦給nalu_payload  
                    memcpy(nalu_payload,n->buf+1,1400);//去掉NALU頭,每次拷貝1400個字節。  
  
                    bytes = 1400 + 14;//獲得sendbuf的長度,爲nalu的長度(除去起始前綴和NALU頭)加上rtp_header,fu_ind,fu_hdr的固定長度                                                            14字節  
                    send( socket1, sendbuf, bytes, 0 );//發送rtp包  
                    t++;  
  
                }  
                //發送一個需要分片的NALU的非第一個分片,清零FU HEADER的S位,如果該分片是該NALU的最後一個分片,置FU HEADER的E位  
                else if(k == t)//發送的是最後一個分片,注意最後一個分片的長度可能超過1400字節(當 l> 1386時)。  
                {  
  
                    //設置rtp M 位;當前傳輸的是最後一個分片時該位置1  
                    rtp_hdr->marker=1;  
                    //設置FU INDICATOR,並將這個HEADER填入sendbuf[12]  
                    fu_ind =(FU_INDICATOR*)&sendbuf[12]; //將sendbuf[12]的地址賦給fu_ind,之後對fu_ind的寫入就將寫入sendbuf中;  
                    fu_ind->F=n->forbidden_bit;  
                    fu_ind->NRI=n->nal_reference_idc>>5;  
                    fu_ind->TYPE=28;  
  
                    //設置FU HEADER,並將這個HEADER填入sendbuf[13]  
                    fu_hdr = (FU_HEADER*)&sendbuf[13];  
                    fu_hdr->R = 0;  
                    fu_hdr->S = 0;  
                    fu_hdr->TYPE = n->nal_unit_type;  
                    fu_hdr->E = 1;  
  
                    nalu_payload = &sendbuf[14];//同理將sendbuf[14]的地址賦給nalu_payload  
                    memcpy(nalu_payload,n->buf + t*1400 + 1,last-1);//將nalu最後剩餘的l-1(去掉了一個字節的NALU頭)字節內容寫入sendbuf[14]開始的字符串。  
                    bytes = last - 1 + 14;      //獲得sendbuf的長度,爲剩餘nalu的長度l-1加上rtp_header,FU_INDICATOR,FU_HEADER三個包頭共14字節  
                    send(socket1, sendbuf, bytes, 0);//發送rtp包  
                    t++;  
                    //Sleep(100);  
                }  
                //既不是第一個分片,也不是最後一個分片的處理。  
                else if(t < k && 0 != t)  
                {  
                    //設置rtp M 位;  
                    rtp_hdr->marker = 0;  
                    //設置FU INDICATOR,並將這個HEADER填入sendbuf[12]  
                    fu_ind = (FU_INDICATOR*)&sendbuf[12]; //將sendbuf[12]的地址賦給fu_ind,之後對fu_ind的寫入就將寫入sendbuf中;  
                    fu_ind->F = n->forbidden_bit;  
                    fu_ind->NRI = n->nal_reference_idc>>5;  
                    fu_ind->TYPE = 28;  
  
                    //設置FU HEADER,並將這個HEADER填入sendbuf[13]  
                    fu_hdr =(FU_HEADER*)&sendbuf[13];  
      
                    fu_hdr->R = 0;  
                    fu_hdr->S = 0;  
                    fu_hdr->E = 0;  
                    fu_hdr->TYPE = n->nal_unit_type;  
  
                    nalu_payload=&sendbuf[14];//同理將sendbuf[14]的地址賦給nalu_payload  
                    memcpy(nalu_payload, n->buf + t * 1400 + 1,1400);//去掉起始前綴的nalu剩餘內容寫入sendbuf[14]開始的字符串。  
                    bytes=1400 + 14;                        //獲得sendbuf的長度,爲nalu的長度(除去原NALU頭)加上rtp_header,fu_ind,fu_hdr的固定長度14字節  
                    send(socket1, sendbuf, bytes, 0);//發送rtp包  
                    t++;  
                }  
            }  
        }  
    }  
    FreeNALU(n);  
    return 0;  
}  
  
static int FindStartCode2 (unsigned char *Buf)  
{  
    if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=1) return 0; //判斷是否爲0x000001,如果是返回1  
    else return 1;  
}  
  
static int FindStartCode3 (unsigned char *Buf)  
{  
    if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=0 || Buf[3] !=1) return 0;//判斷是否爲0x00000001,如果是返回1  
    else return 1;  
} 

 RTP header格式,見下圖:

各個字段代表含義如下:

V:版本號,一般爲2;
P:填充字段標識;
X:擴展頭標識;

CC:CSRC計數,4比特

M:標誌 1bit,在傳輸h264時表示h264 nalu的最後一包
PT:負載類型 7 bits, H264類型爲96,荷載類型的賦值或者通過profile或者通過動態方式
SN:序列號16 bits
Timestamp:時間戳32bits,如果爲視頻的話,應該設置爲1/9000,音頻爲1/8000,如果NAL單元沒有他自己的時間屬性(即,parameter set and SEI NAL units),RTP時戳設置成訪問單元主編碼圖像的RTP時戳。
SSRC:32bits,用以識別同步源。
CSRC列表:0到15項,每項32比特,CSRC列表識別在此包中負載的所有貢獻源。識別符的數目在CC域中給定。若有貢獻源多於15個,僅識別15個。CSRC識別符由混合器插入,並列出所有貢獻源的SSRC識別符。例如語音包,混合產生新包的所有源的SSRC標識符都被列出,這樣可以在接收端正確指示參與者。    

 

RTP payload格式:

        H.264Payload 格式定義了三種不同的基本的負載(Payload)結構,接收端可能通過RTP Payload的第一個字節來識別它們。這一個字節類似NALU 頭的格式,而這個頭結構的NAL 單元類型字段則指出了代表的是哪一種結構,這個字節的結構如下:

F        1比特
NRI      2比特
Type     5比特

可以看出它和H.264 的NALU 頭結構是一樣的。

字段Type:這個RTP payload 中 NAL 單元的類型。 這個字段和 H.264 中類型字段的區別是,當type的值爲24-31表示這是一個特別格式的 NAL 單元,而H.264中,只取1-23是有效的值。


關於NALU使用RTP包進行發送可能的類型有

1. 單一 NAL 單元模式
       即一個 RTP 包僅由一個完整的 NALU 組成。這種情況下 RTP NAL 頭類型字段和原始的H.264的NALU 頭類型字段是一樣的。
對於 NALU的長度小於 MTU 大小的包,一般採用單一 NAL 單元模式。對於一個原始的H.264 NALU 單元常由 [StartCode] [NALU Header] [NALU Payload] 三部分組成,其中 Start Code 用於標示這是一個NALU 單元的開始,必須是"00 00 00 01" 或"00 00 01",
NALU 頭僅一個字節,其後都是 NALU 單元內容。打包時去除 "00 00 01" 或"00 00 00 01" 的開始碼,把其他數據封包的 RTP 包即可,有如下例子:
[00 0000 01 67 42 A0 1E 23 56 0E 2F ... ]
封裝成 RTP 包將如下:
[ RTPHeader ] [ 67 42 A0 1E 23 56 0E 2F ]
(在這裏要說明的是,如果客戶端是通用的播放器,比如VLC或者JM的話需要將前導碼去掉,但是如果使用的是ffmpeg在客戶端解碼的話,發送前不需要去掉前導碼,去掉之後可能會導致ffmpeg解碼錯誤)。

2. 組合封包模式
       即可能是由多個 NAL 單元組成一個 RTP 包。分別有4種組合方式:STAP-A,STAP-B, MTAP16, MTAP24。那麼這裏的類型值分別是 24,25,26 以及 27。

3. 分片封包模式
       用於把一個 NALU單元封裝成多個 RTP 包。存在兩種類型 FU-A 和 FU-B。類型值分別是 28 和 29。
而當 NALU 的長度超過 MTU 時,就必須對 NALU 單元進行分片封包。 也稱爲Fragmentation Units(FUs)。將NALU拆分成小於MTU的數據包進行發送,如果使用的是VLC等網絡播放器的話,需要設置FU header,如下圖所示:

如果使用的是ffmpeg自行進行數據包接收與解碼,則完全不必寫FU header。

其實在後面的實際操作中會發現,SPS、PPS都是非常小,不到一百個字節,都是單個的NAl進行打包發送,而I幀一般都比較大,會採用分包發送,一般也是FU-A方式分片,其中MTU一般是1500個字節。FFmpeg中都有現成的源程序可以參考的。

 對於H264的I幀、P幀等主要是FU(分片)發送,那麼FU到底是怎樣一個過程呢。

     相同NAL單元的分片必須使用遞增的RTP序號連續順序發送(第一和最後分片之間沒有其他的RTP包)。相似, NAL單元必須按照RTP順序號的順序裝配。FUs不可以嵌套。即 一個FU 不可以包含另一個FU。運送FU的RTP時戳被設置成分片NALU的NALU的時刻。

      FU-A的RTP荷載格式:

        0                                              1                                             2                                            3
        0   1   2  3   4  5  6   7  8   9   0  1  2  3  4   5   6   7   8  9   0  1   2  3  4   5  6   7   8  9  0   1
      +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
      |       FU indicator          |      FU header             |                                                                            |
      +--+--+--+--+--+--+--+--+--+--+--+-+--+--+--+--+                                                                             |
      |                                                                                                                                                         |
      |                                                             FU payload                                                                        |
      |                                                                                                                                                         |
      |                                                                             +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
      |                                                                                :...OPTIONAL RTP padding                       |
     +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+


FU indicator :  1字節的分片單元指示

      +---------------+
       |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+
      |F|NRI|  Type   |
      +---------------+

NRI: 2 bits, 00值指示NAL單元的內容不用於重建影響圖像的幀間圖像預測.這樣的NAL單元可以被丟棄而不用冒影響圖像完整性的風險。大於00的值指示NAL單元的解碼要求維護引用圖像的完整性。

注意:任何非零的NRI在H.264 解碼器的處理是相同的。因此,接收者在傳送NAL單元給解碼器時不必操作NRI的值。NRI值必須根據分片NAL單元的NRI值設置。H.264編碼器必須根據H.264規範設置NRI值。

當nal_unit_type 範圍的是1到12。特別是,H.264規範要求對於nal_unit_type爲6,9,10,11,12的NAL單元的NRI的值應該爲0。

對於nal_unit_type等於7,8 (指示順序參數集或圖像參數集)的NAL單元,H.264編碼器應該設置NRI爲11 (二進制格式)。

對於nal_unit_type等於5的主編碼圖像的編碼片NAL單元(指示編碼片屬於一個IDR圖像), H.264編碼器應設置NRI爲11。


FU header:  1字節的分片單元頭
      +---------------+
      |0|1|2|3|4|5|6|7|
     +-+-+-+-+-+-+-+
      |S|E|R|  Type   |
      +---------------+

S: (1 bit)
   當設置成1,開始位指示分片NAL單元的開始。當跟隨的FU荷載不是分片NAL單元荷載的開始,開始位設爲0。
E: (1 bit)
   當設置成1,結束位指示分片NAL單元的結束,即荷載的最後字節也是分片NAL單元的最後一個字節。
   當跟隨的FU荷載不是分片NAL單元的最後分片,結束位設置爲0。
R: (1 bit)
    保留位必須設置爲0,接收者必須忽略該位。
Type: (5 bit)
       NAL單元荷載類型定義。


FU payload : 分片單元荷載。


關於時間戳,需要注意的是h264的採樣率爲90000HZ,因此時間戳的單位爲1(秒)/90000,因此如果當前視頻幀率爲25fps,那時間戳間隔或者說增量應該爲3600,怎麼算出來的呢,每幀是1/25秒,那麼這1/25秒有多少個時間戳單元呢,除以1/90000即可。而如果幀率爲30fps,則增量爲3000,以此類推。

1)第一個FU-A包的FU indicator:
F應該爲當前NALU頭的F,而NRI應該爲當前NALU頭的NRI,Type則等於28,表明它是FU-A包。
FU header生成方法:S = 1,E = 0,R = 0,Type則等於NALU頭中的Type。

2)後續的N個FU-A包的FU indicator和第一個是完全一樣的,如果不是最後一個包,則FU header應該爲:S = 0,E = 0,R = 0,
Type等於NALU頭中的Type。

3)最後一個FU-A包FU header應該爲:S = 0,E = 1,R = 0,Type等於NALU頭中的Type。

因此總結就是:
同一個NALU分包的FU indicator頭是完全一致的,FU header只有S以及E位有區別,分別標記開始和結束,它們的RTP分包的序列號應該是依次遞增的,並且它們的時間戳必須一致,而負載數據爲NALU包去掉1個字節的NALU頭後對剩餘數據的拆分,這點很關鍵,你可以認爲NALU頭被拆分成了FU indicator和FU header,所以不再需要1字節的NALU頭了。

關於SPS以及PPS,配置幀的傳輸我採用了先發SPS,再發送PPS,並使用同樣的時間戳,或者按照正常時間戳增量再或者組包發送的形式處理貌似都可以,看播放器怎麼解碼了,另外提一下,如果我們使用vlc進行播放的話,可以在sdp文件中設置SPS以及PPS,這樣就可以不用發送它們了。

使用VLC播放時,sdp文件中的分包模式選項:packetization-mode=1,否則有問題。另外sdp裏面設置的編碼type必須和rtp包中的一致。

ok關於H264的打包就說到這了,其實這些都有現成的了,不用自己去怎麼琢磨,但是感興趣的可以研究下,畢竟知道原理在看代碼或者編代碼的時候都會有一定的幫助,至少會提高點自信心吧。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章