圖形圖像的基礎知識三

2.2 音視頻基本概念介紹 2.2.1 視頻的基本概念 RGB和YUV RGB指的是紅綠藍，應用還是很廣泛的，比如顯示器顯示，BMP文件格式中的像素值等；而YUV主要指亮度和兩個色差信號，被稱爲luminance和chrominance他們的轉化關係可以自己去查一下，我們視頻裏面基本上都是用YUV格式。 YUV格式 YUV文件格式又分很多種，如果算上存儲格式，就更多了，比如YUV444、YUV422、YUV411、YUV420等等，視頻壓縮用到的是420格式，這是因爲人眼對亮度更敏感些，對色度相對要差些。另外要注意幾個英文單詞的意思，比如：packet、planar、interlace、progressive等。 幀率 每秒鐘圖像的刷新速度。PAL制式的電視，幀率是25幀每秒，NTSC制式的電視幀率是29.97幀每秒。我們常用的電腦也有刷新率，一般來說，電腦的刷新率要在75赫茲以上，人眼纔不會覺得閃。 隔行掃描(interlace)和逐行掃描(progressive) 一般的電視上都是隔行掃描，而顯示器都是逐行掃描。這裏有一個場的概念，隔行掃描是一幀等於兩場，而逐行掃描則是一幀就是一場。 碼率 它的單位是 bit per second，一般所有描述帶寬的概念，單位都是bit，描述存儲容量的單位一般都是大B，也就是BYTE（字節）。 分辨率 圖像的分辨率指的是它的像素數，一般用得最多的是CIF，也就是352*288，4cif自然就是指704*576，而D1的分辨率嚴格意義上是720*576，大小來說和4cif差不多了。當然現在還有很多高清的分辨率，這些我不是太瞭解，大家感興趣可以查一下。另外，國外很多時候，對cif的高度取240，這是因爲他們的幀率比我們高（29.97hz），自然，高度要小一些了。 實時與非實時 主要用來形容編碼器，它含有兩個意思，一個是要保證幀率，也就是每秒25幀，另一個是“live”的意思，意味着直播，所謂的“實況轉播”的“實”。 延時 也是形容編碼器的一個重要指標，一般來說，200ms到300ms人的感覺不會很明顯，到了500毫秒的話，還是可以很明顯感覺到的。 音視頻同步 作爲視頻會議的應用，一般要求做到所謂的“脣同步”。基本的保證音視頻同步的手段就是時間戳（time stamp）。 複合視頻和S-Video NTSC和PAL彩色視頻信號是這樣構成的--首先有一個基本的黑白視頻信號，然後在每個水平同步脈衝之後，加入一個顏色脈衝和一個亮度信號。因爲彩色信號是由多種數據“疊加”起來的，故稱之爲“複合視頻”。S-Video則是一種信號質量更高的視頻接口，它取消了信號疊加的方法，可有效避免一些無謂的質量損失。它的 功能是將RGB三原色和亮度進行分離處理。 NTSC、PAL和SECAM 基帶視頻是一種簡單的模擬信號，由視頻模擬數據和視頻同步數據構成，用於接收端正確地顯示圖像。信號的細節取決於應用的視頻標準或者“制式”--NTSC（美國全國電視標準委員會，National Television Standards Committee）、PAL（逐行倒相，Phase Alternate Line）以及SECAM（順序傳送與存儲彩色電視系統，法國採用的一種電視制式，SEquential Couleur Avec Memoire）。 中國的電視信號一般都是PAL，而美日則是NTSC。這2個制式的幀率，圖像尺寸都有所不同。 線數 我們在買攝像頭的時候，經常會提到一個叫線數的概念，它其實就是分辨率中的高（height）。舉個例子：PAL制式的D1圖像，線數就是576。 亮度、飽和度和對比度 英文名分別是：brightness、saturation和 contrast。這是三個表示圖像的重要指標。 2.2.2 音頻的基本概念 採樣率 音頻的採樣率其實類似視頻的幀率，意思是每秒鐘採樣的次數。G.711的採樣率是8k（人的語音大概就在這個頻率範圍以內），而mp3支持的典型採樣率是 44.1kHz（超過人耳響應頻率的2倍多一點——奈奎斯特定理）。很明顯，mp3壓縮的原始聲音要比g.711好多了。 採樣精度 就是每個採樣進行模數轉換時的量化係數。G.711是8bit採樣精度，而mp3典型的是16bit。 回聲消除 視頻會議應用中的音頻最大問題。回聲產生的原因很複雜，一般認爲，在互聯網中的語音傳輸，延時來源有三個：壓縮延遲、分組傳輸延遲和處理延遲。語音壓縮延遲是產生回聲的主要延遲，例如在G.723.1標準中，壓縮一幀（30ms）的最大延遲是37.5ms。分組傳輸延遲也是一個很重要的來源，測試表明，端到端的最大傳輸延遲可達250ms以上。處理延遲是指語音包的封裝時延及其緩衝時延等。