原创 音視頻封裝:MPTG2-TS 媒體封裝實例解析和說明

問題背景: 首先明確這兩種格式都是音視頻的封裝格式,是由國際電信聯盟出的具體標準,具體文檔見ISO/IEC-13818。由於在安防和廣電領域的使用,還有蘋果在自家全系列產品的主推,導致目前還有一定的生存空間。在安防領域主要是因爲GB281

原创 流媒體傳輸協議:RTMP、HLS和RTSP介紹

​問題背景: ​問題背景: 流媒體傳輸協議經過幾十年的發展,越來越豐富。近期的SRT、DASH、QUIC等都已經在實際中有所應用,但是這些協議裏面應用最成熟,最廣的協議還是RTSP/RTP/RTCP、HLS和RTMP協議。同時這些協議背後

原创 國產開源流媒體SRS4.0對視頻監控GB28181的支持

前言: 本篇文章是第一篇介紹SRS的文章,後續應該還會有一些測試和使用經驗的文章,同時可能會有一些源碼閱讀筆記。本篇文章主要是介紹下國產開源流媒體SRS涉及的入門資料,SRS前期對標的nginx-rtmp-module,是國內第一款真正開

原创 音視頻常見問題分析和解決:延時和抖動

問題背景: 在上一篇文章講了音視頻一些疑難問題的排查,其中一個比較重要的原則就是要將音視頻作爲一個系統來看待,問題有可能只是表現在播放端,但是根因有可能在編碼端,也有可能發生在傳輸過程中。其實對於音視頻有些問題的優化,有時也要整體優化,比

原创 音視頻傳輸:RTP協議詳解和H.264打包方案

問題背景: 前面講解了PS、TS、FLV這三種媒體封裝格式,現在新開一個系列講解下傳輸協議,這裏面會包含RTP、RTSP、HLS、RTMP等。當然最複雜的封裝格式MP4在準備中,後面會把封裝格式這個系列講完。今天要說的RTP傳輸協議,有人

原创 視頻監控攝像頭的互聯網化實踐思路

​問題背景: 最近在SRS羣裏回答一些視頻監控設備上雲問題時,SRS開源作者讓我寫一篇文章介紹下視頻監控攝像頭的互聯網化實踐思路,很有幸畢業這幾年工作的大體方向都跟這個有關係,本篇就拋磚引玉說下視頻監控設備上雲的一些實踐和思考。 本篇文章

原创 週末活動回顧:視頻質量主觀評價、實時RTC架構和AV1進展

​問題背景: 週末去網易參加了一個小型的音視頻活動,活動上來自Bilibili、網易雲信、微幀科技的大佬分別就視頻質量主觀評價、5G低延時通信、AV1等話題進行了分享。本篇文章記錄下我的收穫和一些關鍵點,做個搬運匠,放一些當時的PPT和我

原创 音視頻封裝格式:AAC音頻基礎和ADTS打包方案詳解

問題背景: 現在主流的封裝格式支持的音視頻編碼標配是H264+AAC,其中像TS、RTP、FLV、MP4都支持音頻的AAC編碼方式。當然,後繼者不乏Opus這種編碼方式,它主要應用在互聯網場景,比如現在谷歌的WebRTC音視頻解決方案就用

原创 SDP在RTSP、國標GB28181、WebRTC中的實踐

​問題背景: 無論你是用微信進行視頻電話還是開Zoom視頻會議,按照OSI網絡七層參考模型,我們進行這些活動之前一般都要先建立一組會話。在建立會話的過程中,我們需要描述下會話的一些信息,描述這種會話能力時用到了SDP協議,也就是會話描述協

原创 音視頻封裝:MP4結構概述和分析工具推薦

問題背景: 前面已經講了好幾種封裝格式包括了TS、FLV、RTP等。現在用幾篇文章講解下MP4,這種封裝格式設計思路和前面都不太一樣,其應用範圍最廣、靈活性最高、跨平臺最好,兼容性最強。帶來的負面影響就是格式本身比較複雜,特別是在封裝和轉

原创 HLS+FMP4方案對H.265+AAC支持要點

​問題背景: 2017年的蘋果WWDC大會上,蘋果宣佈HEVC支持HLS,涉及了iOS、MacOS和tvOS等系統終端。蘋果之所以樂意這個事情,首先HLS就是他們家的,近些年一直把HLS致力於推成Web標準,其次蘋果手握大量H.265的專

原创 音視頻播放疑難雜症分析和解決思路

問題背景: 音視頻相較於其他業務開發,門檻比較高的一個原因開發過程遇到問題比較多,而且每個問題背後都需要一定的理論基礎和豐富的調試經驗的才能分析出來。有些音視頻開發小白,遇到一些諸如視頻卡頓、聲畫不同步等問題完全一臉懵逼,不知道從何處進行

原创 譯:構建音視頻直播應用需要考慮的12件事

​問題背景: 近期看到一篇音視頻技術週刊的一篇文章《12 Things to Consider When Building a Live Streaming App》,感覺寫的還不錯,是Red5官網掛出來的一篇博客,對設計、構建一個流媒體

原创 基於HLS-TS&RTMP-FLV的微信小程序點直播方案

​問題背景: 視頻監控不僅僅要上雲,還要支持多端播放,這一塊在移動端APP和PC端難度不大,只要能實現一個簡單的播放器引擎內核,然後交叉編譯爲不同端的SDK就可以。隨着移動互聯網的發展,特別是微信生態的完善。很多客戶都在做輕量的微信小程序

原创 一圖看懂音視頻核心技術棧(框架、工具和場景)

​其實前面整理過一波音視頻技術棧涉及的核心內容和工具,這篇在上篇基礎上再次進行補充。目的就是爲了讓大家快速對音視頻技術有一個框架性的認識,同時也便於剛入門小白對這部分內容有一個清晰的學習脈絡。   如果你麼看這篇文章《音視頻基礎知識:流媒