ANDROID音頻系統散記之三：resample-2 (SRC)

這篇是承接上一篇提到的底層resample處理，以Samsung的mini alsa-lib爲例說明。

http://blog.csdn.net/sepnic/article/details/6899903

Mini alsa-lib

這個mini alsa-lib位於android2.3.1-gingerbread/device/samsung/crespo/libaudio中。如之前所說alsa-lib實現了太多plugin的功能，顯得複雜臃腫。因此我建議如果想了解alsa在上層調用過程，最好從這個mini alsa-lib入手，就兩個源文件：alsa_pcm.c和alsa_mixer.c，前者是pcm回放錄音接口，後者是mixer controls的控制接口。

alsa-lib其實也是通過操作/dev目錄的設備節點來調用內核空間的音頻驅動接口，這點跟平常的字符設備的調用方法一樣的。如open：

[cpp] view plain copy print ?

struct pcm *pcm_open(unsigned flags)
{
const char *dname;
struct pcm *pcm;
struct snd_pcm_info info;
struct snd_pcm_hw_params params;
struct snd_pcm_sw_params sparams;
unsigned period_sz;
unsigned period_cnt;
LOGV("pcm_open(0x%08x)",flags);
pcm = calloc(1, sizeof(struct pcm));
if (!pcm)
return &bad_pcm;
if (flags & PCM_IN) {
dname = "/dev/snd/pcmC0D0c"; //capture設備節點
} else {
dname = "/dev/snd/pcmC0D0p"; //playback設備節點
}
...
pcm->flags = flags;
pcm->fd = open(dname, O_RDWR);
if (pcm->fd < 0) {
oops(pcm, errno, "cannot open device '%s'");
return pcm;
}
if (ioctl(pcm->fd, SNDRV_PCM_IOCTL_INFO, &info)) {
oops(pcm, errno, "cannot get info - %s");
goto fail;
}
...
}

struct pcm *pcm_open(unsigned flags)
{
    const char *dname;
    struct pcm *pcm;
    struct snd_pcm_info info;
    struct snd_pcm_hw_params params;
    struct snd_pcm_sw_params sparams;
    unsigned period_sz;
    unsigned period_cnt;

    LOGV("pcm_open(0x%08x)",flags);

    pcm = calloc(1, sizeof(struct pcm));
    if (!pcm)
        return &bad_pcm;

    if (flags & PCM_IN) {
        dname = "/dev/snd/pcmC0D0c"; //capture設備節點
    } else {
        dname = "/dev/snd/pcmC0D0p"; //playback設備節點
    }
    
    ...
    pcm->flags = flags;
    pcm->fd = open(dname, O_RDWR);
    if (pcm->fd < 0) {
        oops(pcm, errno, "cannot open device '%s'");
        return pcm;
    }

    if (ioctl(pcm->fd, SNDRV_PCM_IOCTL_INFO, &info)) {
        oops(pcm, errno, "cannot get info - %s");
        goto fail;
    }
    ...
}

這裏不多考究這些接口實現。alsa_pcm.c中有個函數挺有趣的：

[cpp] view plain copy print ?

static void param_set_mask(struct snd_pcm_hw_params *p, int n, unsigned bit)
{
if (bit >= SNDRV_MASK_MAX)
return;
if (param_is_mask(n)) {
struct snd_mask *m = param_to_mask(p, n);
m->bits[0] = 0;
m->bits[1] = 0;
m->bits[bit >> 5] |= (1 << (bit & 31));
}
}

static void param_set_mask(struct snd_pcm_hw_params *p, int n, unsigned bit)
{
    if (bit >= SNDRV_MASK_MAX)
        return;
    if (param_is_mask(n)) {
        struct snd_mask *m = param_to_mask(p, n);
        m->bits[0] = 0;
        m->bits[1] = 0;
        m->bits[bit >> 5] |= (1 << (bit & 31));
    }
}

其中SNDRV_MASK_MAX和snd_mask的定義分別如下：

[cpp] view plain copy print ?

#define SNDRV_MASK_MAX 256
struct snd_mask {
__u32 bits[(SNDRV_MASK_MAX+31)/32];
};

#define SNDRV_MASK_MAX 256

struct snd_mask {
 __u32 bits[(SNDRV_MASK_MAX+31)/32];
};

結合SNDRV_MASK_MAX和snd_mask來理解：可以mask的位數高達256，但是我們計算機字長是32位，因此用8個32位的數組來構成一個256位的掩碼，param_set_mask函數就是這個掩碼進行設置。

其中m->bits[bit >> 5] |= (1 << (bit & 31));爲核心語句，bit>>5其實就是bit除以32（即數組元素長度）取得數組下標，1 << (bit & 31)是掩碼位在數組元素中的偏移量。如bit=255時，則數組下標是7,即數組bits最後一個元素，偏移量是1<<31，這時整個bits數據就是這樣：bits[7:0] = 0x80000000:0x00000000:0x00000000:0x00000000:0x00000000:0x00000000:0x00000000:0x00000000，這個256位的掩碼的最高位就置1了。當然在實際應用中並不會用到那麼高位的掩碼，這裏應該是爲了方便以後擴展使用的，因此也只需要m->bits[0] = 0; m->bits[1] = 0，看來僅僅最多用到64位掩碼。

ADCLRC約束條件

在pcm_open中，有

[cpp] view plain copy print ?

param_set_int(¶ms, SNDRV_PCM_HW_PARAM_RATE, 44100);
if (ioctl(pcm->fd, SNDRV_PCM_IOCTL_HW_PARAMS, ¶ms)) {
oops(pcm, errno, "cannot set hw params");
goto fail;
}

    param_set_int(¶ms, SNDRV_PCM_HW_PARAM_RATE, 44100);

    if (ioctl(pcm->fd, SNDRV_PCM_IOCTL_HW_PARAMS, ¶ms)) {
        oops(pcm, errno, "cannot set hw params");
        goto fail;
    }

可見，無論放音還是錄音，都是設置44.1khz的採樣率的。在我們的底層I2S驅動中，放音錄音也是固定一個採樣率44.1khz。爲什麼這樣做？放音就罷了，Android由於需要混合各個track的數據，故把放音採樣率固定在44.1khz，而錄音爲什麼也固定用44.1khz？注：這裏的採樣率直接對應硬件信號ADCLRC/DACLRC頻率。

首先需要了解一下I2S協議方面的知識。放音採樣率DACLRC，錄音採樣率ADCLRC都是通過同一個主時鐘MCLK分頻出來的。在底層音頻驅動中，一般有如下的結構體：

[cpp] view plain copy print ?

struct _coeff_div {
u32 mclk;
u32 rate;
u16 fs;
u8 sr;
u8 bclk_div;
};
/* codec hifi mclk clock divider coefficients */
static const struct _coeff_div coeff_div[] = {
/* 8k */
{12288000, 8000, 1536, 0x4, 0x0},
/* 11.025k */
{11289600, 11025, 1024, 0x8, 0x0},
/* 16k */
{12288000, 16000, 768, 0x5, 0x0},
/* 22.05k */
{11289600, 22050, 512, 0x9, 0x0},
/* 32k */
{12288000, 32000, 384, 0x7, 0x0},
/* 44.1k */
{11289600, 44100, 256, 0x6, 0x07},
/* 48k */
{12288000, 48000, 256, 0x0, 0x07},
/* 96k */
{12288000, 96000, 128, 0x1, 0x04},
};

struct _coeff_div {
	u32 mclk;
	u32 rate;
	u16 fs;
	u8 sr;
	u8 bclk_div;
};

/* codec hifi mclk clock divider coefficients */
static const struct _coeff_div coeff_div[] = {
	/* 8k */
	{12288000, 8000, 1536, 0x4, 0x0},
	/* 11.025k */
	{11289600, 11025, 1024, 0x8, 0x0},
	/* 16k */
	{12288000, 16000, 768, 0x5, 0x0},
	/* 22.05k */
	{11289600, 22050, 512, 0x9, 0x0},
	/* 32k */
	{12288000, 32000, 384, 0x7, 0x0},
	/* 44.1k */
	{11289600, 44100, 256, 0x6, 0x07},
	/* 48k */
	{12288000, 48000, 256, 0x0, 0x07},
	/* 96k */
	{12288000, 96000, 128, 0x1, 0x04},
};

其中MCLK有兩個可配頻率，分別是12288000和11289600，前者用於8k、16k、32k、48k、96khz的分頻，後者用於11.025k、22.05k、44.1khz的分頻。具體算式是rate=mclk/fs，如44100=11289600/256。

看出問題了沒有？如果錄音採樣率設置爲8khz，則MCLK必須轉變爲12288000，此時DACLRC就會被改變（放音聲音會變得尖銳），不利於同時放音錄音。因此錄音採樣率是受其約束的，其實也不是一定是44.1khz，是11.025khz的倍數即可，能保證是可以從同一個MCLK分頻。

DownSampler

在android2.3.1-gingerbread/device/samsung/crespo/libaudio中，除了mini alsa-lib外，就是Samsung爲Android寫的AudioHAL了，如AudioHardware.cpp，這相當於alsa_sound中的文件。這個HAL有很大的通用性，移植到無通話功能的MID上都可以正常工作的，當然也保留Samsung的一些專用性，主要是通話語音通道處理。這裏不詳述這個音頻HAL文件，如果對AudioFlinger和alsa_sound比較熟悉的話，會很快上手掌握。

如上個章節所說，底層錄音採樣率ADCLRC固定是44.1khz，那麼上層如果想要其他的採樣率如8khz，怎麼辦？resample無疑。由於這裏支持的錄音採樣率有：8000, 11025, 16000, 22050, 44100，都低於或等於44.1khz，則只需要downsample（同理從低採樣率轉換到高採樣率叫upsample）。如下是簡單的分析：

[cpp] view plain copy print ?

status_t AudioHardware::AudioStreamInALSA::set(
AudioHardware* hw, uint32_t devices, int *pFormat,
uint32_t *pChannels, uint32_t *pRate, AudioSystem::audio_in_acoustics acoustics)
{
if (pFormat == 0 || *pFormat != AUDIO_HW_IN_FORMAT) {
*pFormat = AUDIO_HW_IN_FORMAT; //AudioSystem::PCM_16_BIT
return BAD_VALUE;
}
if (pRate == 0) {
return BAD_VALUE;
}
//getInputSampleRate：取得與參數sampleRate最接近的且被支持的採樣率
//支持的採樣率有：8000, 11025, 16000, 22050, 44100
//事實上，這裏傳入來的sampleRate必須是被支持的，否則返回BAD_VALUE
uint32_t rate = AudioHardware::getInputSampleRate(*pRate);
if (rate != *pRate) {
*pRate = rate;
return BAD_VALUE;
}
if (pChannels == 0 || (*pChannels != AudioSystem::CHANNEL_IN_MONO &&
*pChannels != AudioSystem::CHANNEL_IN_STEREO)) {
*pChannels = AUDIO_HW_IN_CHANNELS; //AudioSystem::CHANNEL_IN_MONO
return BAD_VALUE;
}
mHardware = hw;
LOGV("AudioStreamInALSA::set(%d, %d, %u)", *pFormat, *pChannels, *pRate);
//getBufferSize：根據採樣率和聲道數確定buffer的大小
//popCount：計算參數u有多少個非0位，其實現很有趣，大家可以研究下它的算法
mBufferSize = getBufferSize(*pRate, AudioSystem::popCount(*pChannels));
mDevices = devices;
mChannels = *pChannels;
mChannelCount = AudioSystem::popCount(mChannels);
mSampleRate = rate;
//檢查mSampleRate是否與AUDIO_HW_OUT_SAMPLERATE（44.1khz）一致，否則需要down resample
if (mSampleRate != AUDIO_HW_OUT_SAMPLERATE) {
mDownSampler = new AudioHardware::DownSampler(mSampleRate,
mChannelCount,
AUDIO_HW_IN_PERIOD_SZ,
this);
status_t status = mDownSampler->initCheck();
if (status != NO_ERROR) {
delete mDownSampler;
LOGW("AudioStreamInALSA::set() downsampler init failed: %d", status);
return status;
}
mPcmIn = new int16_t[AUDIO_HW_IN_PERIOD_SZ * mChannelCount];
}
return NO_ERROR;
}

status_t AudioHardware::AudioStreamInALSA::set(
    AudioHardware* hw, uint32_t devices, int *pFormat,
    uint32_t *pChannels, uint32_t *pRate, AudioSystem::audio_in_acoustics acoustics)
{
    if (pFormat == 0 || *pFormat != AUDIO_HW_IN_FORMAT) {
        *pFormat = AUDIO_HW_IN_FORMAT; //AudioSystem::PCM_16_BIT
        return BAD_VALUE;
    }
    if (pRate == 0) {
        return BAD_VALUE;
    }
    
    //getInputSampleRate：取得與參數sampleRate最接近的且被支持的採樣率
    //支持的採樣率有：8000, 11025, 16000, 22050, 44100
    //事實上，這裏傳入來的sampleRate必須是被支持的，否則返回BAD_VALUE
    uint32_t rate = AudioHardware::getInputSampleRate(*pRate);
    if (rate != *pRate) {
        *pRate = rate;
        return BAD_VALUE;
    }

    if (pChannels == 0 || (*pChannels != AudioSystem::CHANNEL_IN_MONO &&
        *pChannels != AudioSystem::CHANNEL_IN_STEREO)) {
        *pChannels = AUDIO_HW_IN_CHANNELS; //AudioSystem::CHANNEL_IN_MONO
        return BAD_VALUE;
    }

    mHardware = hw;

    LOGV("AudioStreamInALSA::set(%d, %d, %u)", *pFormat, *pChannels, *pRate);

    //getBufferSize：根據採樣率和聲道數確定buffer的大小
    //popCount：計算參數u有多少個非0位，其實現很有趣，大家可以研究下它的算法
    mBufferSize = getBufferSize(*pRate, AudioSystem::popCount(*pChannels));
    mDevices = devices;
    mChannels = *pChannels;
    mChannelCount = AudioSystem::popCount(mChannels);
    mSampleRate = rate;
    
    //檢查mSampleRate是否與AUDIO_HW_OUT_SAMPLERATE（44.1khz）一致，否則需要down resample
    if (mSampleRate != AUDIO_HW_OUT_SAMPLERATE) {
        mDownSampler = new AudioHardware::DownSampler(mSampleRate,
                                                  mChannelCount,
                                                  AUDIO_HW_IN_PERIOD_SZ,
                                                  this);
        status_t status = mDownSampler->initCheck();
        if (status != NO_ERROR) {
            delete mDownSampler;
            LOGW("AudioStreamInALSA::set() downsampler init failed: %d", status);
            return status;
        }

        mPcmIn = new int16_t[AUDIO_HW_IN_PERIOD_SZ * mChannelCount];
    }
    return NO_ERROR;
}

以上是set方法，檢查參數format、samplerate和channelcount的合法性，檢查samplerate是否與ADCLRC一致，如果不一致，則創建一個DownSampler。

我們再看看read方法代碼片段：

[cpp] view plain copy print ?

ssize_t AudioHardware::AudioStreamInALSA::read(void* buffer, ssize_t bytes)
{
......
//檢查是否創建了DownSampler
if (mDownSampler != NULL) {
size_t frames = bytes / frameSize();
size_t framesIn = 0;
mReadStatus = 0;
do {
size_t outframes = frames - framesIn;
//調用DownSampler的resample方法，該方法從音頻接口讀取pcm數據，然後對這些數據resample
mDownSampler->resample(
(int16_t *)buffer + (framesIn * mChannelCount),
&outframes);
framesIn += outframes;
} while ((framesIn < frames) && mReadStatus == 0);
ret = mReadStatus;
bytes = framesIn * frameSize();
} else {
TRACE_DRIVER_IN(DRV_PCM_READ)
//並未創建DownSampler，直接讀取pcm數據送到緩衝區
ret = pcm_read(mPcm, buffer, bytes);
TRACE_DRIVER_OUT
}
......
}

ssize_t AudioHardware::AudioStreamInALSA::read(void* buffer, ssize_t bytes)
{
        ......
        //檢查是否創建了DownSampler
        if (mDownSampler != NULL) {
            size_t frames = bytes / frameSize();
            size_t framesIn = 0;
            mReadStatus = 0;
            do {
                size_t outframes = frames - framesIn;
                //調用DownSampler的resample方法，該方法從音頻接口讀取pcm數據，然後對這些數據resample
                mDownSampler->resample(
                        (int16_t *)buffer + (framesIn * mChannelCount),
                        &outframes);
                framesIn += outframes;
            } while ((framesIn < frames) && mReadStatus == 0);
            ret = mReadStatus;
            bytes = framesIn * frameSize();
        } else {
            TRACE_DRIVER_IN(DRV_PCM_READ)
            //並未創建DownSampler，直接讀取pcm數據送到緩衝區
            ret = pcm_read(mPcm, buffer, bytes);
            TRACE_DRIVER_OUT
        }
        ......
}

可知，當上層需要的samplerate與44.1khz不符時，會轉入DownSampler::resample處理：

1、調用AudioHardware::AudioStreamInALSA::getNextBuffer方法，獲取音頻pcm數據，存放到buffer，並計算下一次buffer的地址；

2、將buffer中的數據分解成各個聲道的數據並保存到mInLeft和mInRight；

3、由於原始的音頻pcm數據採樣率是44.1khz的，調用resample_2_1將數據轉爲22.05khz採樣率；

4、1) 如果上層需要的samplerate=11.025khz，調用resample_2_1將數據採樣率從22.05khz轉換到11.025khz；

2) 如果上層需要的samplerate=8khz，調用resample_441_320將數據採樣率從11.025khz轉換到8khz；

5、如果上層需要的samplerate=16khz，調用resample_441_320將數據採樣率從22.05khz轉換到16khz。

可見真正的resample處理是在resample_2_1()和resample_441_320()這兩個函數中。前者是對倍數2的採樣率進行resample的，如44100->22050, 22050->11025, 16000->8000等；後者是對比率爲441/320的採樣率進行resample的，如44100->32000, 22050->16000, 11025->8000等。

ANDROID音頻系統散記之三：resample-2 (SRC)

Mini alsa-lib

ADCLRC約束條件

DownSampler

如何使用 JS 判斷用戶是否處於活躍狀態

Mono 支持LoongArch架構

lightdb秒級增加列和刪除列（not null帶默認值）

lightdb數據庫超時相關控制參數

通過HPA+CronHPA組合應對業務複雜彈性伸縮場景

❤️‍🔥 Solon Cloud Event 新的事務特性與應用

網絡爬蟲的祕密：如何高效地抓取JD.com視頻鏈接

lightdb mysql 8.0兼容之不可見主鍵

使用 JS 實現在瀏覽器控制檯打印圖片 console.image()

基於Ubuntu-22.04安裝K8s-v1.28.2實驗（四）使用域名訪問網站應用

Android音頻架構性能分析

ANDROID音頻系統散記之二：resample-1(SRC)

ANDROID音頻系統散記之三：resample-2 (SRC)

音頻編碼技術G.729與G.711

Audio Resampler Implement

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結