音視基礎
- 聲波
- 音頻的錄製、存儲與回放
- 音頻採樣
- Nyquist-Shannon採樣定律
- 聲道與立體聲道
- 聲音定級—WeberFechner law
- 音頻文件格式
聲波
從物理學的角度來講，聲音是機械波的一種。機械波是由機械震盪產生的。聲音的傳播需要介質。其重要屬性如下：
- 響度
- 音調
- 音色
（初中物理都學過的）
音頻的錄製、存儲與回放
多媒體並不是爲計算機系統而生的，只不過後者的出現極大的推動了它的發展。那麼傳統多媒體和計算機多媒體系統之間有什麼區別嗎？
一個很明顯的問題就是：我們如何將媒體源數字化？之所以有這個疑問，是因爲早期的音頻信息存儲在錄音帶中，並以模擬信號的形式存儲。而到了計算機時代，這些數據必須經過一定的手段處理，才能夠存儲到計算機設備中。
1）錄製過程。
- 首先，音頻採集設備捕獲聲音信號
- 採集到的聲音信號，通過模數轉換器，處理成計算機能夠接受的二進制數據。
- 上一步得到的數據按照需求進行必要的渲染處理，如音效調整、過濾等
- 處理收的數據理應可以存儲到計算機設備上（硬盤、usb設備等）。由於這時的音頻數據體積過大，不利於保存和傳輸，通常我們還會對其進行壓縮處理。比如常見的（mp3格式）。壓縮過程根據採樣率、位深等因素不同，最終得到的音頻文件有一定的失真。
音頻的編解碼既可以通過軟件實現，也可以通過硬件實現
2）回放過程
- 從設備中讀取音頻文件，並根據錄製時採用的編碼，進行解碼操作。
- 選擇播放設備（耳機 喇叭 藍牙）
- 解碼後的數據經過音頻系統設計的路徑進行傳輸
- 音頻信號通過數模轉換變爲模擬信號
- 將模擬信號在回放設備上 播放。
音頻採樣
採樣的核心就是把練血的模擬信號轉化爲離散的數字信號。它涉及到如下幾個因素：
-
樣本 即將被採樣的原始資料
-
採樣器 採樣器是將樣本轉爲終態信號的關鍵。它可以是一個子系統，也可以指一個操作過程，甚至至少是一個算法，取決於不同的信號處理場景。理想的採樣器是要求儘量不產生信號失真
-
量化 採樣後得到的值還需要通過量化，即將連續值近似爲某個範圍內有限多個離散值的處理過程。原始數據是模擬連續信號，而數字信號的離散的，且數值表達範圍是有限的，所以量化是必不可少的步驟
-
編碼 在計算機的世界裏，所有數值都是用二進制表示的，因而我們還需要把量化值進行二進制變化。這一步通常與量化是同步進行的。
原始模擬信號 -> 通過採樣器（Sampler）進行 採樣（Sampling） -> 量化（Quantitation） -> 編碼（Coding）
PCM
PCM （Pulse-code modulation）脈衝編碼調製，是將模擬信號數字化的一種經典方式，得到了非常廣泛的應用。比如數字音頻在計算機、DVD以及數字電話等系統中的標準格式採用的就是PCM。它的基本原理就是上面的幾個流程，即對原始模擬信號進行抽樣、量化、編碼，從而產生PCM流。另外我們可以調整PCM的一下幾個屬性，從而可以達到不同的採樣需求。
- 採樣速率（Sampling Rate）
在將連續信號轉化爲離散信號時，就涉及到採樣週期的選擇。如果採樣週期太長，雖然文件大小得到了控制，但是採樣後的數據很可能無法準確的表達原始信息。反之，如果採樣速率過快，則最長產生的數據量會大幅增加。這兩種情況都是我們不願意看到的，因而在項目中需要根據實際情況來選擇合適的採樣率。
由於人耳鞥便是的聲音範圍是20-20KHz，所以人們一般選中44.1KHz，48KHz或者96KHz作爲採樣速率。
- 採樣深度（Bit Depth）
位深越大，所能表達的數值範圍就越廣，而從而使得量化值更接近原始數據
Nyquist-Shannon採樣定律
奈奎斯特採樣理論：
“當對採樣的模擬信號進行還原時，其最高頻率只有採樣率的一半”
話句話說，如果我們要完美的重構原始模擬信號，則採樣率必須是它的二倍以上。比如人耳聽到的聲音頻率範圍爲20-20KHz，那麼採樣率必須選擇40Kz+。太小則失真明顯，太大資源浪費，且不能明顯提高人耳的質感。
聲道與立體聲道
- 單聲道（Monaural）
- 雙聲道 （stereophonic）
- 4.1環繞立體聲 四個音源 前左、前右、後左、 後右。1代表一個低音喇叭（subwoofer），專門用於加強低頻信號效果。
- 5.1環繞立體聲 相比4.1增加了一箇中置音源
聲音定級—WeberFechner law
音頻文件格式
前面小節的內容分析了音頻採樣的過程，它將連續的聲音波形轉爲若干範圍內的離散數值，從而將音頻數據以二進制的形式顯示在計算機系統中。不過音頻的處理並沒結束，我們通常還需要對上述過程中產生的數據進行格式轉化，然後存儲到設備中。
要特別注意 文件格式和文件編碼器的區別。文件編碼器負責對原始數據進行一定的前期處理，如採用壓縮算法減小體積，然後以特定的文件格式進行存儲。編碼器和文件格式不是一一對應的。
音頻文件格式分類：
- 不壓縮 PCM數據（windows上是wav， mac上是aiff）
- 無損壓縮 如FLAC APE WV m4a
- 有損壓縮 如ACC MP3