聲網 Agora Native SDK 3.0.1 上線,音視頻體驗全面優化

近期,聲網 Agora  Native SDK 3.0.1 已經正式上線。新版本優化了系統架構,不僅系統穩定性顯著提升,進一步降低了對 CPU 和內存的消耗,還大幅降低了直播場景中的進出頻道時間與首幀出圖時間。同時,新版本融入了美聲音效、人臉檢測、伴奏變調、虛擬立體聲等更多新功能,可幫助開發者拓展更多新玩法。

 

實時音視頻體驗提升

極速出聲,超低延時耳返 

在純語音場景下,如語聊房、語音通話等,Agora Native SDK 3.0.1 在端上的音頻延時得到了有效降低,iOS 端音頻延時平均降低 80+ ms,Android 端音頻延時平均降低 30+ms。這可以有效提升用戶在純語音場景下的交互體驗。

在歌唱場景下,新版本還針對 Android 端耳返延時進行了優化,在華爲EMUI 10版本以上的手機上,耳返延時可以低至 50ms。

極速出圖,無感切屏

Agora Native SDK 3.0.1版本通過底層架構優化,大幅降低進出頻道時間和出圖時間,進頻道時長平均降低 60%、出頻道時長平均降低 54%,首幀出圖時間平均降低 50%,切換頻道時長平均降低 25%,進一步提升了直播場景的流暢體驗。 

 

新增功能

 

1. 人臉檢測

3.0.1 版本增加人臉檢測功能,通過 enableFaceDetection 方法開啓人臉檢測後,SDK 會實時觸發 onFacePositionChanged 回調,向本地用戶報告檢測出的一系列結果,包括人臉距設備屏幕的距離。通過這個功能可以實現許多新的場景,比如在線教育場景下,可在檢測到學生距離屏幕過近後,發出提醒,保護用戶視力;如果檢測到學生不在攝像頭範圍內,則可以提醒老師該學生有可能“逃課”了。目前該功能僅支持 iOS、Android 平臺。

 

             

 

2. 美聲音效

爲提高用戶的音頻體驗,同時爲了讓用戶無需專業聲卡、調音師、萬元級線下插件,我們在新版本中通過軟件算法的方式將美聲音效、虛擬立體聲、美化音色搬到了線上。

我們在 VOICE_CHANGER_PRESET 枚舉中新增了以 VOICE_BEAUTY 爲前綴和以 GENERAL_BEAUTY_VOICE 爲前綴的枚舉值,分別實現美音或語聊美聲功能。

除了我們此前分享的實時美聲,利用 3.0.1 版 SDK 還可實現實時美音效果,即改變和美化人聲的音色。目前支持的美音效果如下圖所示。

 

             

我們還在 AUDIO_REVERB_PRESET 枚舉中新增了以 AUDIO_REVERB_FX 爲前綴的枚舉值和 AUDIO_VIRTUAL_STEREO 爲前綴的枚舉值,分別實現實時音效和虛擬立體聲效果。

實時音效是指爲聲音增加某種特定的風格,增強聲音的層次感和空間感。目前可實現的音效如下圖所示。而虛擬立體聲功能則是我們通過音頻算法,改變單聲道採集的聲源的相位、音級、音色,實現立體聲效果。 

             

你可以通過在線 Demo 體驗優化後的聲音效果: 

https://www.agora.io/cn/audio-demo

想了解實時美聲的原理,可閱讀我們往期的分享。接口具體使用方法,可以訪問聲網文檔中心,搜索並查看高階指南「變聲與混響」。

3. 伴奏變調 

新增 setAudioMixingPitch 方法。通過設置該方法的 pitch 參數,可以升高或降低音樂文件的音調,而且不會對本地人聲產生效果。通過這個新方法,你可以爲爲互動直播中的主播增加音樂變調功能。

4. 全屏顯示

爲提高用戶觀看視頻的體驗,該版本在視頻顯示模式中新增 RENDER_MODE_FILL(4) 模式。設置該模式後,視頻尺寸會進行縮放和拉伸直至充滿顯示視圖。你可以在調用以下方法設置用戶視圖時選擇該顯示模式:

  • setupLocalVideo

  • setupRemoteVideo

  • setLocalRenderMode

  • setRemoteRenderMode

5. 自渲染遠端視圖多頻道支持(Android/iOS/macOS)

自渲染遠端視圖支持多頻道,開發者可以在多種場景下使用,比如超級小班課。所謂超級小班課,就是將原有的“一個主講老師,百名學生聽課”的直播大班拆分爲多個小班(即多頻道),每個小班由數名學生組成,小班中的學生既可以看到主講老師授課,又能進行班內交流,比如進行小組討論。同時,Agora SDK 的多頻道會通過單進程實現,對系統資源的消耗更低。

在 Android 平臺,多頻道場景下,爲方便通過 RtcChannel 類加入頻道的用戶使用視頻自渲染功能,該版本在 RtcChannel 類新增 setRemoteVideoRenderer 方法。

在 iOS/macOS 平臺,多頻道場景下,爲方便通過 AgoraRtcChannel 類加入頻道的用戶使用視頻自渲染功能,該版本在 AgoraRtcChannel 類新增 setRemoteVideoRendererremoteVideoRenderOfUserId 方法。

6. 遠端音視頻數據後處理多頻道支持

同樣是在多頻道場景下,爲方便後處理各頻道的遠端音視頻數據,該版本新增如下多個 C++ 接口,可以對遠端音頻數據進行後處理。 

希望瞭解更多詳情,請訪問聲網官網的開發者文檔中心。

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章