轉載地址將H264碼流打包成RTP包:http://blog.csdn.net/chenchong_219/article/details/37996161
H264碼流打包成RTP包的代碼如下:
#include <stdio.h>
#include <stdlib.h>
#include <conio.h>
#include <string.h>
#include <winsock2.h>
#include <winsock2.h>
//#include "mem.h"
#define PACKET_BUFFER_END (unsigned int)0x00000000
#define MAX_RTP_PKT_LENGTH 1400
#define DEST_IP "180.101.59.185"
#define DEST_PORT 1234
#define H264 96
typedef struct
{
/**//* byte 0 */
unsigned char csrc_len:4; /**//* expect 0 */
unsigned char extension:1; /**//* expect 1, see RTP_OP below */
unsigned char padding:1; /**//* expect 0 */
unsigned char version:2; /**//* expect 2 */
/**//* byte 1 */
unsigned char payload:7; /**//* RTP_PAYLOAD_RTSP */
unsigned char marker:1; /**//* expect 1 */
/**//* bytes 2, 3 */
unsigned short seq_no;
/**//* bytes 4-7 */
unsigned long timestamp;
/**//* bytes 8-11 */
unsigned long ssrc; /**//* stream number is used here. */
} RTP_FIXED_HEADER;
typedef struct {
//byte 0
unsigned char TYPE:5;
unsigned char NRI:2;
unsigned char F:1;
} NALU_HEADER; /**//* 1 BYTES */
typedef struct {
//byte 0
unsigned char TYPE:5;
unsigned char NRI:2;
unsigned char F:1;
} FU_INDICATOR; /**//* 1 BYTES */
typedef struct {
//byte 0
unsigned char TYPE:5;
unsigned char R:1;
unsigned char E:1;
unsigned char S:1;
} FU_HEADER; /**//* 1 BYTES */
BOOL InitWinsock();
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <memory.h>
#include "h264.h"
#pragma comment(lib,"ws2_32.lib")
typedef struct
{
int startcodeprefix_len; //! 4 for parameter sets and first slice in picture, 3 for everything else (suggested)
unsigned len; //! Length of the NAL unit (Excluding the start code, which does not belong to the NALU)
unsigned max_size; //! Nal Unit Buffer size
int forbidden_bit; //! should be always FALSE
int nal_reference_idc; //! NALU_PRIORITY_xxxx
int nal_unit_type; //! NALU_TYPE_xxxx
char *buf; //! contains the first byte followed by the EBSP
unsigned short lost_packets; //! true, if packet loss is detected
} NALU_t;
FILE *bits = NULL; //!< the bit stream file
static int FindStartCode2 (unsigned char *Buf);//查找開始字符0x000001
static int FindStartCode3 (unsigned char *Buf);//查找開始字符0x00000001
//static bool flag = true;
static int info2=0, info3=0;
RTP_FIXED_HEADER *rtp_hdr;
NALU_HEADER *nalu_hdr;
FU_INDICATOR *fu_ind;
FU_HEADER *fu_hdr;
BOOL InitWinsock()
{
int Error;
WORD VersionRequested;
WSADATA WsaData;
VersionRequested=MAKEWORD(2,2);
Error=WSAStartup(VersionRequested,&WsaData); //啓動WinSock2
if(Error!=0)
{
return FALSE;
}
else
{
if(LOBYTE(WsaData.wVersion)!=2||HIBYTE(WsaData.wHighVersion)!=2)
{
WSACleanup();
return FALSE;
}
}
return TRUE;
}
//爲NALU_t結構體分配內存空間
NALU_t *AllocNALU(int buffersize)
{
NALU_t *n;
if ((n = (NALU_t*)calloc (1, sizeof (NALU_t))) == NULL)
{
printf("AllocNALU: n");
exit(0);
}
n->max_size=buffersize;
if ((n->buf = (char*)calloc (buffersize, sizeof (char))) == NULL)
{
free (n);
printf ("AllocNALU: n->buf");
exit(0);
}
return n;
}
//釋放
void FreeNALU(NALU_t *n)
{
if (n)
{
if (n->buf)
{
free(n->buf);
n->buf=NULL;
}
free (n);
}
}
void OpenBitstreamFile (char *fn)
{
if (NULL == (bits=fopen(fn, "rb")))
{
printf("open file error\n");
exit(0);
}
}
//這個函數輸入爲一個NAL結構體,主要功能爲得到一個完整的NALU並保存在NALU_t的buf中,獲取他的長度,填充F,IDC,TYPE位。
//並且返回兩個開始字符之間間隔的字節數,即包含有前綴的NALU的長度
int GetAnnexbNALU (NALU_t *nalu)
{
int pos = 0;
int StartCodeFound, rewind;
unsigned char *Buf;
if ((Buf = (unsigned char*)calloc (nalu->max_size , sizeof(char))) == NULL)
{
printf ("GetAnnexbNALU: Could not allocate Buf memory\n");
}
nalu->startcodeprefix_len=3;//初始化碼流序列的開始字符爲3個字節
if (3 != fread (Buf, 1, 3, bits))//從碼流中讀3個字節
{
free(Buf);
return 0;
}
info2 = FindStartCode2 (Buf);//判斷是否爲0x000001
if(info2 != 1)
{
//如果不是,再讀一個字節
if(1 != fread(Buf+3, 1, 1, bits))//讀一個字節
{
free(Buf);
return 0;
}
info3 = FindStartCode3 (Buf);//判斷是否爲0x00000001
if (info3 != 1)//如果不是,返回-1
{
free(Buf);
return -1;
}
else
{
//如果是0x00000001,得到開始前綴爲4個字節
pos = 4;
nalu->startcodeprefix_len = 4;
}
}
else
{
//如果是0x000001,得到開始前綴爲3個字節
nalu->startcodeprefix_len = 3;
pos = 3;
}
//查找下一個開始字符的標誌位
StartCodeFound = 0;
info2 = 0;
info3 = 0;
while (!StartCodeFound)
{
if (feof (bits))//判斷是否到了文件尾,文件結束,則返回非0值,否則返回0
{
nalu->len = (pos-1)-nalu->startcodeprefix_len; //NALU單元的長度。
memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);
nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bit
nalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bit
nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bit
free(Buf);
return pos-1;
}
Buf[pos++] = fgetc (bits);//讀一個字節到BUF中
info3 = FindStartCode3(&Buf[pos-4]);//判斷是否爲0x00000001
if(info3 != 1)
{
info2 = FindStartCode2(&Buf[pos-3]);//判斷是否爲0x000001
}
StartCodeFound = (info2 == 1 || info3 == 1);
}
// Here, we have found another start code (and read length of startcode bytes more than we should
// have. Hence, go back in the file
rewind = (info3 == 1)? -4 : -3;
if (0 != fseek (bits, rewind, SEEK_CUR))//把文件指針指向前一個NALU的末尾,在當前文件指針位置上偏移 rewind。
{
free(Buf);
printf("GetAnnexbNALU: Cannot fseek in the bit stream file");
}
// Here the Start code, the complete NALU, and the next start code is in the Buf.
// The size of Buf is pos, pos+rewind are the number of bytes excluding the next
// start code, and (pos+rewind)-startcodeprefix_len is the size of the NALU excluding the start code
nalu->len = (pos+rewind)-nalu->startcodeprefix_len; //NALU長度,不包括頭部。
memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);//拷貝一個完整NALU,不拷貝起始前綴0x000001或0x00000001
nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bit
nalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bit
nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bit
free(Buf);
return (pos+rewind);//返回兩個開始字符之間間隔的字節數,即包含有前綴的NALU的長度
}
//輸出NALU長度和TYPE
void dump(NALU_t *n)
{
if (!n)return;
//printf("a new nal:");
printf(" len: %d ", n->len);
printf("nal_unit_type: %x\n", n->nal_unit_type);
}
int main(int argc, char* argv[])
{
OpenBitstreamFile("./test2.264");//打開264文件,並將文件指針賦給bits,在此修改文件名實現打開別的264文件。
NALU_t *n;
char* nalu_payload;
char sendbuf[1500];
unsigned short seq_num =0;
int bytes=0;
InitWinsock(); //初始化套接字庫
SOCKET socket1;
struct sockaddr_in server;
int len =sizeof(server);
float framerate=15;
unsigned int timestamp_increse=0,ts_current=0;
timestamp_increse=(unsigned int)(90000.0 / framerate); //+0.5); //時間戳,H264的視頻設置成90000
server.sin_family=AF_INET;
server.sin_port=htons(DEST_PORT);
server.sin_addr.s_addr=inet_addr(DEST_IP);
socket1=socket(AF_INET,SOCK_DGRAM,0);
connect(socket1, (const sockaddr *)&server, len) ;//申請UDP套接字
n = AllocNALU(8000000);//爲結構體nalu_t及其成員buf分配空間。返回值爲指向nalu_t存儲空間的指針
while(!feof(bits))
{
GetAnnexbNALU(n);//每執行一次,文件的指針指向本次找到的NALU的末尾,下一個位置即爲下個NALU的起始碼0x000001
dump(n);//輸出NALU長度和TYPE
//(1)一個NALU就是一個RTP包的情況: RTP_FIXED_HEADER(12字節) + NALU_HEADER(1字節) + EBPS
//(2)一個NALU分成多個RTP包的情況: RTP_FIXED_HEADER (12字節) + FU_INDICATOR (1字節)+ FU_HEADER(1字節) + EBPS(1400字節)
memset(sendbuf,0,1500);//清空sendbuf;此時會將上次的時間戳清空,因此需要ts_current來保存上次的時間戳值
//rtp固定包頭,爲12字節,該句將sendbuf[0]的地址賦給rtp_hdr,以後對rtp_hdr的寫入操作將直接寫入sendbuf。
rtp_hdr =(RTP_FIXED_HEADER*)&sendbuf[0];
//設置RTP HEADER,
rtp_hdr->payload = H264; //負載類型號,
rtp_hdr->version = 2; //版本號,此版本固定爲2
rtp_hdr->marker = 0; //標誌位,由具體協議規定其值。
rtp_hdr->ssrc = htonl(10); //隨機指定爲10,並且在本RTP會話中全局唯一
// 當一個NALU小於1400字節的時候,採用一個單RTP包發送
if(n->len <= 1400)
{
//設置rtp M 位;
rtp_hdr->marker = 1;
rtp_hdr->seq_no = htons(seq_num ++); //序列號,每發送一個RTP包增1,htons,將主機字節序轉成網絡字節序。
//設置NALU HEADER,並將這個HEADER填入sendbuf[12]
nalu_hdr =(NALU_HEADER*)&sendbuf[12]; //將sendbuf[12]的地址賦給nalu_hdr,之後對nalu_hdr的寫入就將寫入sendbuf中;
nalu_hdr->F = n->forbidden_bit;
nalu_hdr->NRI=n->nal_reference_idc>>5;//有效數據在n->nal_reference_idc的第6,7位,需要右移5位才能將其值賦給nalu_hdr->NRI。
nalu_hdr->TYPE=n->nal_unit_type;
nalu_payload=&sendbuf[13];//同理將sendbuf[13]賦給nalu_payload
memcpy(nalu_payload,n->buf+1,n->len-1);//去掉nalu頭的nalu剩餘內容寫入sendbuf[13]開始的字符串。
ts_current = ts_current + timestamp_increse;
rtp_hdr->timestamp=htonl(ts_current);
bytes=n->len + 12 ; //獲得sendbuf的長度,爲nalu的長度(包含NALU頭但除去起始前綴)加上rtp_header的固定長度12字節
send(socket1, sendbuf, bytes, 0);//發送rtp包
// Sleep(100);
}
else if(n->len > 1400) //這裏就要分成多個RTP包發送了。
{
//得到該nalu需要用多少長度爲1400字節的RTP包來發送
int k = 0, last = 0;
k = n->len / 1400;//需要k個1400字節的RTP包,這裏爲什麼不加1呢?因爲是從0開始計數的。
last = n->len % 1400;//最後一個RTP包的需要裝載的字節數
int t = 0;//用於指示當前發送的是第幾個分片RTP包
ts_current = ts_current + timestamp_increse;
rtp_hdr->timestamp = htonl(ts_current);
while(t <= k)
{
rtp_hdr->seq_no = htons(seq_num++); //序列號,每發送一個RTP包增1
if(!t)//發送一個需要分片的NALU的第一個分片,置FU HEADER的S位,t = 0時進入此邏輯。
{
//設置rtp M 位;
rtp_hdr->marker = 0; //最後一個NALU時,該值設置成1,其他都設置成0。
//設置FU INDICATOR,並將這個HEADER填入sendbuf[12]
fu_ind =(FU_INDICATOR*)&sendbuf[12]; //將sendbuf[12]的地址賦給fu_ind,之後對fu_ind的寫入就將寫入sendbuf中;
fu_ind->F = n->forbidden_bit;
fu_ind->NRI = n->nal_reference_idc >> 5;
fu_ind->TYPE = 28; //FU-A類型。
//設置FU HEADER,並將這個HEADER填入sendbuf[13]
fu_hdr =(FU_HEADER*)&sendbuf[13];
fu_hdr->E = 0;
fu_hdr->R = 0;
fu_hdr->S = 1;
fu_hdr->TYPE = n->nal_unit_type;
nalu_payload = &sendbuf[14];//同理將sendbuf[14]賦給nalu_payload
memcpy(nalu_payload,n->buf+1,1400);//去掉NALU頭,每次拷貝1400個字節。
bytes = 1400 + 14;//獲得sendbuf的長度,爲nalu的長度(除去起始前綴和NALU頭)加上rtp_header,fu_ind,fu_hdr的固定長度 14字節
send( socket1, sendbuf, bytes, 0 );//發送rtp包
t++;
}
//發送一個需要分片的NALU的非第一個分片,清零FU HEADER的S位,如果該分片是該NALU的最後一個分片,置FU HEADER的E位
else if(k == t)//發送的是最後一個分片,注意最後一個分片的長度可能超過1400字節(當 l> 1386時)。
{
//設置rtp M 位;當前傳輸的是最後一個分片時該位置1
rtp_hdr->marker=1;
//設置FU INDICATOR,並將這個HEADER填入sendbuf[12]
fu_ind =(FU_INDICATOR*)&sendbuf[12]; //將sendbuf[12]的地址賦給fu_ind,之後對fu_ind的寫入就將寫入sendbuf中;
fu_ind->F=n->forbidden_bit;
fu_ind->NRI=n->nal_reference_idc>>5;
fu_ind->TYPE=28;
//設置FU HEADER,並將這個HEADER填入sendbuf[13]
fu_hdr = (FU_HEADER*)&sendbuf[13];
fu_hdr->R = 0;
fu_hdr->S = 0;
fu_hdr->TYPE = n->nal_unit_type;
fu_hdr->E = 1;
nalu_payload = &sendbuf[14];//同理將sendbuf[14]的地址賦給nalu_payload
memcpy(nalu_payload,n->buf + t*1400 + 1,last-1);//將nalu最後剩餘的l-1(去掉了一個字節的NALU頭)字節內容寫入sendbuf[14]開始的字符串。
bytes = last - 1 + 14; //獲得sendbuf的長度,爲剩餘nalu的長度l-1加上rtp_header,FU_INDICATOR,FU_HEADER三個包頭共14字節
send(socket1, sendbuf, bytes, 0);//發送rtp包
t++;
//Sleep(100);
}
//既不是第一個分片,也不是最後一個分片的處理。
else if(t < k && 0 != t)
{
//設置rtp M 位;
rtp_hdr->marker = 0;
//設置FU INDICATOR,並將這個HEADER填入sendbuf[12]
fu_ind = (FU_INDICATOR*)&sendbuf[12]; //將sendbuf[12]的地址賦給fu_ind,之後對fu_ind的寫入就將寫入sendbuf中;
fu_ind->F = n->forbidden_bit;
fu_ind->NRI = n->nal_reference_idc>>5;
fu_ind->TYPE = 28;
//設置FU HEADER,並將這個HEADER填入sendbuf[13]
fu_hdr =(FU_HEADER*)&sendbuf[13];
fu_hdr->R = 0;
fu_hdr->S = 0;
fu_hdr->E = 0;
fu_hdr->TYPE = n->nal_unit_type;
nalu_payload=&sendbuf[14];//同理將sendbuf[14]的地址賦給nalu_payload
memcpy(nalu_payload, n->buf + t * 1400 + 1,1400);//去掉起始前綴的nalu剩餘內容寫入sendbuf[14]開始的字符串。
bytes=1400 + 14; //獲得sendbuf的長度,爲nalu的長度(除去原NALU頭)加上rtp_header,fu_ind,fu_hdr的固定長度14字節
send(socket1, sendbuf, bytes, 0);//發送rtp包
t++;
}
}
}
}
FreeNALU(n);
return 0;
}
static int FindStartCode2 (unsigned char *Buf)
{
if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=1) return 0; //判斷是否爲0x000001,如果是返回1
else return 1;
}
static int FindStartCode3 (unsigned char *Buf)
{
if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=0 || Buf[3] !=1) return 0;//判斷是否爲0x00000001,如果是返回1
else return 1;
}
RTP header格式,見下圖:
各個字段代表含義如下:
V:版本號,一般爲2;
P:填充字段標識;
X:擴展頭標識;
CC:CSRC計數,4比特
M:標誌 1bit,在傳輸h264時表示h264 nalu的最後一包
PT:負載類型 7 bits, H264類型爲96,荷載類型的賦值或者通過profile或者通過動態方式
SN:序列號16 bits
Timestamp:時間戳32bits,如果爲視頻的話,應該設置爲1/9000,音頻爲1/8000,如果NAL單元沒有他自己的時間屬性(即,parameter set and SEI NAL units),RTP時戳設置成訪問單元主編碼圖像的RTP時戳。
SSRC:32bits,用以識別同步源。
CSRC列表:0到15項,每項32比特,CSRC列表識別在此包中負載的所有貢獻源。識別符的數目在CC域中給定。若有貢獻源多於15個,僅識別15個。CSRC識別符由混合器插入,並列出所有貢獻源的SSRC識別符。例如語音包,混合產生新包的所有源的SSRC標識符都被列出,這樣可以在接收端正確指示參與者。
RTP payload格式:
H.264Payload 格式定義了三種不同的基本的負載(Payload)結構,接收端可能通過RTP Payload的第一個字節來識別它們。這一個字節類似NALU 頭的格式,而這個頭結構的NAL 單元類型字段則指出了代表的是哪一種結構,這個字節的結構如下:
F 1比特
NRI 2比特
Type 5比特
可以看出它和H.264 的NALU 頭結構是一樣的。
字段Type:這個RTP payload 中 NAL 單元的類型。 這個字段和 H.264 中類型字段的區別是,當type的值爲24-31表示這是一個特別格式的 NAL 單元,而H.264中,只取1-23是有效的值。
關於NALU使用RTP包進行發送可能的類型有:
1. 單一 NAL 單元模式
即一個 RTP 包僅由一個完整的 NALU 組成。這種情況下 RTP NAL 頭類型字段和原始的H.264的NALU 頭類型字段是一樣的。
對於 NALU的長度小於 MTU 大小的包,一般採用單一 NAL 單元模式。對於一個原始的H.264 NALU 單元常由 [StartCode] [NALU Header] [NALU Payload] 三部分組成,其中 Start Code 用於標示這是一個NALU 單元的開始,必須是"00 00 00 01" 或"00 00 01",
NALU 頭僅一個字節,其後都是 NALU 單元內容。打包時去除 "00 00 01" 或"00 00 00 01" 的開始碼,把其他數據封包的 RTP 包即可,有如下例子:
[00 0000 01 67 42 A0 1E 23 56 0E 2F ... ]
封裝成 RTP 包將如下:
[ RTPHeader ] [ 67 42 A0 1E 23 56 0E 2F ]
(在這裏要說明的是,如果客戶端是通用的播放器,比如VLC或者JM的話需要將前導碼去掉,但是如果使用的是ffmpeg在客戶端解碼的話,發送前不需要去掉前導碼,去掉之後可能會導致ffmpeg解碼錯誤)。
2. 組合封包模式
即可能是由多個 NAL 單元組成一個 RTP 包。分別有4種組合方式:STAP-A,STAP-B, MTAP16, MTAP24。那麼這裏的類型值分別是 24,25,26 以及 27。
3. 分片封包模式
用於把一個 NALU單元封裝成多個 RTP 包。存在兩種類型 FU-A 和 FU-B。類型值分別是 28 和 29。
而當 NALU 的長度超過 MTU 時,就必須對 NALU 單元進行分片封包。 也稱爲Fragmentation Units(FUs)。將NALU拆分成小於MTU的數據包進行發送,如果使用的是VLC等網絡播放器的話,需要設置FU header,如下圖所示:
如果使用的是ffmpeg自行進行數據包接收與解碼,則完全不必寫FU header。
其實在後面的實際操作中會發現,SPS、PPS都是非常小,不到一百個字節,都是單個的NAl進行打包發送,而I幀一般都比較大,會採用分包發送,一般也是FU-A方式分片,其中MTU一般是1500個字節。FFmpeg中都有現成的源程序可以參考的。
對於H264的I幀、P幀等主要是FU(分片)發送,那麼FU到底是怎樣一個過程呢。
相同NAL單元的分片必須使用遞增的RTP序號連續順序發送(第一和最後分片之間沒有其他的RTP包)。相似, NAL單元必須按照RTP順序號的順序裝配。FUs不可以嵌套。即 一個FU 不可以包含另一個FU。運送FU的RTP時戳被設置成分片NALU的NALU的時刻。
FU-A的RTP荷載格式:
0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
| FU indicator | FU header | |
+--+--+--+--+--+--+--+--+--+--+--+-+--+--+--+--+ |
| |
| FU payload |
| |
| +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
| :...OPTIONAL RTP padding |
+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
FU indicator : 1字節的分片單元指示
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+
|F|NRI| Type |
+---------------+
NRI: 2 bits, 00值指示NAL單元的內容不用於重建影響圖像的幀間圖像預測.這樣的NAL單元可以被丟棄而不用冒影響圖像完整性的風險。大於00的值指示NAL單元的解碼要求維護引用圖像的完整性。
注意:任何非零的NRI在H.264 解碼器的處理是相同的。因此,接收者在傳送NAL單元給解碼器時不必操作NRI的值。NRI值必須根據分片NAL單元的NRI值設置。H.264編碼器必須根據H.264規範設置NRI值。
當nal_unit_type 範圍的是1到12。特別是,H.264規範要求對於nal_unit_type爲6,9,10,11,12的NAL單元的NRI的值應該爲0。
對於nal_unit_type等於7,8 (指示順序參數集或圖像參數集)的NAL單元,H.264編碼器應該設置NRI爲11 (二進制格式)。
對於nal_unit_type等於5的主編碼圖像的編碼片NAL單元(指示編碼片屬於一個IDR圖像), H.264編碼器應設置NRI爲11。
FU header: 1字節的分片單元頭
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+
|S|E|R| Type |
+---------------+
S: (1 bit)
當設置成1,開始位指示分片NAL單元的開始。當跟隨的FU荷載不是分片NAL單元荷載的開始,開始位設爲0。
E: (1 bit)
當設置成1,結束位指示分片NAL單元的結束,即荷載的最後字節也是分片NAL單元的最後一個字節。
當跟隨的FU荷載不是分片NAL單元的最後分片,結束位設置爲0。
R: (1 bit)
保留位必須設置爲0,接收者必須忽略該位。
Type: (5 bit)
NAL單元荷載類型定義。
FU payload : 分片單元荷載。
關於時間戳,需要注意的是h264的採樣率爲90000HZ,因此時間戳的單位爲1(秒)/90000,因此如果當前視頻幀率爲25fps,那時間戳間隔或者說增量應該爲3600,怎麼算出來的呢,每幀是1/25秒,那麼這1/25秒有多少個時間戳單元呢,除以1/90000即可。而如果幀率爲30fps,則增量爲3000,以此類推。
1)第一個FU-A包的FU indicator:
F應該爲當前NALU頭的F,而NRI應該爲當前NALU頭的NRI,Type則等於28,表明它是FU-A包。
FU header生成方法:S = 1,E = 0,R = 0,Type則等於NALU頭中的Type。
2)後續的N個FU-A包的FU indicator和第一個是完全一樣的,如果不是最後一個包,則FU header應該爲:S = 0,E = 0,R = 0,
Type等於NALU頭中的Type。
3)最後一個FU-A包FU header應該爲:S = 0,E = 1,R = 0,Type等於NALU頭中的Type。
因此總結就是:
同一個NALU分包的FU indicator頭是完全一致的,FU header只有S以及E位有區別,分別標記開始和結束,它們的RTP分包的序列號應該是依次遞增的,並且它們的時間戳必須一致,而負載數據爲NALU包去掉1個字節的NALU頭後對剩餘數據的拆分,這點很關鍵,你可以認爲NALU頭被拆分成了FU indicator和FU header,所以不再需要1字節的NALU頭了。
關於SPS以及PPS,配置幀的傳輸我採用了先發SPS,再發送PPS,並使用同樣的時間戳,或者按照正常時間戳增量再或者組包發送的形式處理貌似都可以,看播放器怎麼解碼了,另外提一下,如果我們使用vlc進行播放的話,可以在sdp文件中設置SPS以及PPS,這樣就可以不用發送它們了。
使用VLC播放時,sdp文件中的分包模式選項:packetization-mode=1,否則有問題。另外sdp裏面設置的編碼type必須和rtp包中的一致。
ok關於H264的打包就說到這了,其實這些都有現成的了,不用自己去怎麼琢磨,但是感興趣的可以研究下,畢竟知道原理在看代碼或者編代碼的時候都會有一定的幫助,至少會提高點自信心吧。