雙耳強(qiáng)度差的空間水平方位角感知特性研究

郭文靜，王 恒，張 聰

（武漢輕工大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，湖北武漢 430023）

0 引言

隨著互聯(lián)網(wǎng)技術(shù)及計(jì)算機(jī)技術(shù)的快速發(fā)展，VR（Virtu?al Reality，虛擬現(xiàn)實(shí)）、3D 影院、立體環(huán)繞音樂等走向大眾，使得3D 音視頻技術(shù)成為熱門研究領(lǐng)域。為獲得更好的空間沉浸感和更高的編碼效率，學(xué)者對3D 音頻的雙耳線索空間方位感知特性進(jìn)行了較多研究。人類感知聲源位置最基本的理論是John［1］提出的證實(shí)人耳判斷聲源方位的基于雙耳線索差“雙工理論”。耳時間差（Interaural time differ?ence，ITD）在低頻聲源定位上起著主導(dǎo)作用，雙耳強(qiáng)度差（Interaural level difference，ILD）在高頻起著主導(dǎo)作用；Yost［2］證實(shí)了在0°和±90°之間的ITD 的JND 值與水平方位角呈線性相關(guān)。超過±90°時，聲像會出現(xiàn)在多個位置，通常在頭部兩側(cè)，具有ILD 刺激的水平方位角與高達(dá)4～15db 的ILD 的JND 值線性相關(guān)；Grantham 等［3］證實(shí)M 最小可聽角（MAA）閾值在水平面最低，垂直面的MAA 閾值最大。在特定頻率區(qū)域內(nèi)，對角線60°呈現(xiàn)的音頻信號的ILD 可能比水平呈現(xiàn)的具有相同水平面范圍的音頻信號ILD 更大；Co?rey［4］證明 雙耳線索ITD 和ILD 的JND 值隨著雙 耳頻 率之間的差異變大而增大，其值隨著頻帶的寬度變窄而增加；Hartmann 等［5］證實(shí)自然產(chǎn)生的ILD 物理上強(qiáng)度足夠大，對低于1 000Hz 的聲源定位產(chǎn)生影響。當(dāng)ILD 增大到較大時，前后方位會產(chǎn)生混淆，音調(diào)定位于過渡段的關(guān)系比與IPD（interaural phase difference，雙耳相位差）的關(guān)系更直接；Watanabe 等［6］證實(shí)了頭相關(guān)傳輸函數(shù)（HRTF）與ITD/ILD的個性化可能受到非個人HRTF 頻譜的影響；Goupell 等［7］證明由于耳間去相關(guān)，ILD 的JND 大大增加。如果添加了分辨良好的異質(zhì)性干擾物，則ILD 的JND 取決于頻率，并且當(dāng)目標(biāo)頻率接近1 000Hz 或4 000Hz 時性能最差；Laback等［8］證實(shí)ILD 感知中各種時間影響，包括雙耳效應(yīng)，很大程度上歸因于單耳周圍聽覺處理，包括不同前后邊界的目標(biāo)ILD 閾值以及具有不同耳間相關(guān)性的ILD 閾值；Chantal等［9］測量了低頻或低頻干擾（模擬聽覺目標(biāo)）的耳間時間差（ITD）和耳間強(qiáng)度差（ILD）的辨別閾值，證明雙耳干涉（在ILD 更為一致）和物理光譜重疊（在地球上）的影響，在1 000～3 000Hz之間減少光譜重疊會持續(xù)提高相對靈敏度。

人的聽覺系統(tǒng)在辨別空間的聲源方向主要依賴雙耳線索ITD 和ILD，當(dāng)聲源在水平方向移動時，雙耳時間差（ITD）和雙耳強(qiáng)度差（ILD）的值也在發(fā)生改變，但人耳不一定立刻感知到這時聲源位置的改變。只有當(dāng)雙耳線索ITD或ILD 達(dá)到某一個閾值時，即恰可感知值（Just noticeable difference，JND）［10］，人的雙耳才會感知到空間聲源位置發(fā)生了改變。大量研究發(fā)現(xiàn)，雙耳線索ILD 和ITD 的恰可感知值JND 會受到音頻信號的頻率、信號類型、聲源距離等因素影響。對于高頻率音頻信號，水平方位聲源位置起明顯定位作用的是雙耳強(qiáng)度差（ILD），低頻率音頻信號則是雙耳時間差I(lǐng)TD 在水平方位上作用明顯，而有些頻率是雙耳線索共同作用［11］。參考音的角度改變也會影響雙耳線索的JND 值。研究表明，聲源從中垂線向人耳兩側(cè)移動時，雙耳強(qiáng)度差（ILD）的JND 是減小的，雙耳對聲源的定位也越來越模糊［12］。

以上研究表明人耳聽覺系統(tǒng)在聲源定位過程中，利用雙耳強(qiáng)度差（ILD）對空間方位角的感知是敏感的，也有相關(guān)理論證明水平方位角上的聲源與雙耳強(qiáng)度差（ILD）和頻率存在關(guān)系［13］，但研究存在以下不足：①籠統(tǒng)選取某一頻段的頻率研究雙耳強(qiáng)度差（ILD）的感知特性，缺少對頻率細(xì)致的分類研究；②鮮有考慮以水平方位角作為參考音頻進(jìn)行雙耳強(qiáng)度差（ILD）感知特性研究。本文結(jié)合以往對雙耳強(qiáng)度差（ILD）與頻率等因素對聲源定位的影響研究，以水平方位角媒介選取5 個頻帶（包括低頻、中頻、高頻）下9個角度的音頻作為參考音，并根據(jù)提取規(guī)則生成的測試音組成測試序列，進(jìn)行雙耳強(qiáng)度差（ILD）感知特性研究，得到頻率與水平方位角和雙耳強(qiáng)度差（ILD）的函數(shù)關(guān)系，以進(jìn)一步提高空間音頻編碼質(zhì)量。

1 空間音頻編碼

傳統(tǒng)的雙聲道單層面立體聲技術(shù)已不能滿足市場需求。為了獲得更好的立體感受與空間沉浸感，需要在多個獨(dú)立聲道的數(shù)字音頻回放系統(tǒng)中增加播放音頻的獨(dú)立聲道數(shù)，然而聲道數(shù)的增加有利也有弊，有利的是能夠增強(qiáng)音頻的空間感，不利的是數(shù)據(jù)量會變得很大。傳統(tǒng)的音頻編碼技術(shù)將多聲道音頻信號分離，分離后形成獨(dú)立的單個聲道信號再進(jìn)行編碼，這種編碼方式帶來巨大的數(shù)據(jù)量，給存儲和傳輸帶來巨大壓力，讓編碼效率變低?？臻g音頻編碼采用下混技術(shù)，將多聲道信號轉(zhuǎn)換為單聲道信號并提取空間參數(shù)表征聲源位置（ITD、ILD、IC），實(shí)現(xiàn)了高效編碼，降低了編碼率，提高了傳輸速率，最后人們能完全聽到逼真的“現(xiàn)實(shí)”聲音而不是“現(xiàn)實(shí)主義”的聲音。

空間感知線索雙耳時間差（ITD）、雙耳強(qiáng)度差（ILD）和耳間相關(guān)性（IC）［14］提取方法為，用時頻分離多聲道的音頻信號，再劃分多聲道音頻信號的子帶頻譜，最后從劃分出的子帶頻譜中提取空間參數(shù)。針對雙耳強(qiáng)度差I(lǐng)LD 線索的提取，設(shè)x1(t)和x2(t)為輸入信號對應(yīng)的子帶能量比，計(jì)算公式如下：

空間音頻編碼技術(shù)主要針對3 個空間參數(shù)進(jìn)行提?。弘p耳時間差I(lǐng)TD、雙耳強(qiáng)度差I(lǐng)LD 和耳間相關(guān)性IC。雙耳時間差主要作用在低頻，因此ITD 的提取主要在低頻區(qū)域，雙耳強(qiáng)度差主要作用在高頻，所以ILD 的提取主要在高頻區(qū)域，耳間相關(guān)性IC 在全頻帶范圍提取。目前空間音頻編碼領(lǐng)域主要關(guān)注的問題是空間參數(shù)的提取和量化，本文針對這一問題對水平方位角的雙耳強(qiáng)度差（ILD）進(jìn)行感知特性實(shí)驗(yàn)?？紤]人耳對不同頻帶的敏感度不同，提取雙耳強(qiáng)度差（ILD）的空間參數(shù)，在各個頻段對方位角的雙耳強(qiáng)度差（ILD）進(jìn)行編碼。該方法大大減少了空間聲場信息的冗余，從而降低了碼率。

2 實(shí)驗(yàn)設(shè)置

2.1 音頻數(shù)據(jù)預(yù)處理

音頻數(shù)據(jù)庫設(shè)計(jì)和改進(jìn)是進(jìn)行空間方位感知研究的關(guān)鍵，獲取和處理音頻數(shù)據(jù)的方法有很多，但是大多數(shù)都是根據(jù)音頻的信號類型、音頻的頻率、濾波技術(shù)、音頻格式等屬性。文獻(xiàn)［2］ILD 的值分別選取為0dB、9dB、15dB，在水平方位上測量方位角與雙耳強(qiáng)度差（ILD）的關(guān)系；文獻(xiàn)［5］針對低頻250～750Hz 正弦音的自由場源定位，研究了雙耳強(qiáng)度差（ILD）作用；文獻(xiàn)［6］從聽者的人體測量學(xué)參數(shù)估計(jì)聽覺時間差（ITD），通過將非個性化HRTF 的ILD 替換為聽眾的HRTF 實(shí)現(xiàn)HRTF 的個性化；文獻(xiàn)［15］利用臨界頻帶選取250Hz、500Hz、1 000Hz 和4 000Hz 的窄帶噪聲進(jìn)行雙耳強(qiáng)度差（ILD）的JND 值測試；文獻(xiàn)［16］選取頻率在20～15.5kHz 范圍內(nèi)的正弦純音，利用臨界頻帶劃分原則將音頻信號劃分成24 個頻帶，分別對雙耳線索ITD 和ILD 的JND 值進(jìn)行測試。

這些實(shí)驗(yàn)的音頻參數(shù)表明，目前對音頻數(shù)據(jù)庫建立的最優(yōu)參數(shù)還沒有標(biāo)準(zhǔn)規(guī)范。本實(shí)驗(yàn)針對以往研究，選取5個頻帶（350Hz，1 000Hz，1 600Hz，2 500Hz 和4 000Hz）9 個水平方位角（0°，10°，15°，20°，30°，45°，60°，75°，90°）的參數(shù)進(jìn)行實(shí)驗(yàn)。

2.2 實(shí)驗(yàn)方法

本文實(shí)驗(yàn)采用改進(jìn)的心理學(xué)測聽系統(tǒng)2AF（Two alter?native forced-choice，強(qiáng)迫性二選一）［17］和2down/1up［18］。要求受試者聽一段包含參考音和測試音的測試序列，然后根據(jù)自己的主觀感受在一秒內(nèi)做出選擇哪個聲音更偏向他左耳。2down/1up 也是心理學(xué)自適應(yīng)測試的一種方式，每一個受試者都會經(jīng)過多組聽音識別方位的訓(xùn)練，上一次的聽音選擇結(jié)果會對下一組測試序列生成產(chǎn)生影響。

2.3 實(shí)驗(yàn)步驟

本實(shí)驗(yàn)以水平方位角為媒介，對雙耳強(qiáng)度差（ILD）的JND 值進(jìn)行測試和分析。利用HRTF 函數(shù)獲取關(guān)鍵技術(shù)［19］研究較多，本文利用武漢大學(xué)胡瑞敏等［20］發(fā)明的一種三維空間感知敏感度的測量裝置實(shí)現(xiàn)改變聲源相對于人工頭的方位角，實(shí)現(xiàn)隨測隨走，大大提高了測試效率。利用人工頭錄音，首先按照頻率將9 個方位角的音頻分成5 組，每組有9 個角度的參考音和系統(tǒng)生成的測試音，組合成測試序列讓受試者進(jìn)行測聽。一輪測試下來總共需要進(jìn)行45組測試。測試實(shí)驗(yàn)基于Windows10 的MFC 對話框系統(tǒng)進(jìn)行，系統(tǒng)流程如圖1 所示。

Fig.1 Flow of experiment圖1 實(shí)驗(yàn)流程

3 實(shí)驗(yàn)結(jié)果與分析

3.1 原始數(shù)據(jù)處理

測試時間2 個月，受試者6 人，進(jìn)行5 個頻帶下9 個方位角的雙耳強(qiáng)度差（ILD）感知特性測試。對6 名受試者測試結(jié)果取平均值，得到9 個水平方位角在5 個頻率下所對應(yīng)的雙耳強(qiáng)度差（ILD）的恰可感知值JND，如表1 所示。

Table 1 The JND values of interaural level difference（ILD）of 9 horizontal azimuths of 5 frequencies（dB）表1 9 個水平方位角5 個頻率下雙耳強(qiáng)度差（ILD）的JND 值（dB）

3.2 水平方位角的雙耳強(qiáng)度差（ILD）測試數(shù)據(jù)分析

3.2.1 水平方位角的ILD 與頻率的關(guān)系

由圖2（彩圖掃OSID 碼可見）可知，水平方位角的ILD與頻率存在著明顯的關(guān)系。當(dāng)方位角為0°和90°時，水平方位角的ILD 波動不是很明顯，其值大約在0.2dB 左右，表示這兩個角度人耳對音頻方位的感知很敏感，準(zhǔn)確感受到聲源的變化；水平方位角大于45°時，水平方位角的ILD 隨著頻率的增加而增加，表示人耳對聲源的感知越來越不敏感，在4 000Hz 時出現(xiàn)極大值，這時人耳對60°和75°的方位感知很模糊，甚至無法辨別聲源位置；此外，當(dāng)水平方位角在45°以下時，水平方位角的ILD 整體上隨著頻率的增大而逐漸減小，人耳對聲源的感知越來越敏感，水平方位角的ILD 在1 000～1 600Hz 時出現(xiàn)緩慢上升趨勢，在4 000Hz 時出現(xiàn)極小值，表示人耳此時對聲源的感知很敏感，能準(zhǔn)確判別聲源的方位?？梢钥闯?，1 600Hz 和4 000Hz 是比較特殊的頻率，水平方位角的ILD 在這兩個頻率出現(xiàn)極值點(diǎn)。另外以方位角45°為分界點(diǎn)，分成兩種曲線變化趨勢，理論分析可知，在低頻范圍內(nèi)，人耳利用雙耳強(qiáng)度差（ILD）感知方位變化作用不明顯，在高頻范圍內(nèi)，人耳利用雙耳強(qiáng)度差（ILD）感知方位變化的作用比較明顯。但是當(dāng)水平方位角靠近人耳左耳附近（90°）時，人耳對聲源的方位感知越來越模糊。高頻段在90°附近的音頻測試過程中出現(xiàn)嘶嘶的雜音，測試人員都不能很好地辨別測試序列，影響了測試的真實(shí)結(jié)果。

3.2.2 水平方位角與ILD 的關(guān)系

由圖3 可以看出，水平方位角和ILD 的關(guān)系受頻率影響。當(dāng)處于低音頻段1 600Hz 以下時，隨著音頻序列水平方位角從人耳中垂面0°到左耳90°的移動，ILD 的值也由大變小。當(dāng)方位角在10°以下時，ILD 呈現(xiàn)直線上升趨勢，人耳對聲源的感知越來越不敏感；在10°～30°范圍內(nèi)，水平方位角的ILD 的值波動幅度不大，但是水平方位角的ILD 值大約在4dB，表示人耳在這個角度范圍內(nèi)對測試序列的辨別不是很清晰；在30°以上時，水平方位角的ILD 出現(xiàn)直線下降趨勢，直到60°以上出現(xiàn)緩慢下降趨勢，人耳逐漸對聲源的方位感知越來越敏感。當(dāng)處于高頻段2 500Hz 以上時，隨著水平方位角從0°上升到90°，水平方位角的ILD 值呈現(xiàn)先增加后減小的變化。在60°以下，隨著角度的增加其ILD 值也逐漸增加，在45°～60°時出現(xiàn)直線上升趨勢，人耳在這個角度范圍內(nèi)對方位的感知越來越不敏感。在60°以上的水平方位角，ILD 值隨著角度的增加逐漸下降，人耳對聲源的辨別越來越清晰。理論分析可知，人耳對利用雙耳強(qiáng)度差（ILD）在低頻段對聲源辨別沒明顯作用，在高頻段起主要作用，但是由實(shí)驗(yàn)可知，除了頻率的影響，水平方位角的角度對人耳辨別方位起著明顯作用，在靠近人耳附近的聲源利用雙耳強(qiáng)度差（ILD）感知聲源比較敏感，利用雙耳強(qiáng)度差（ILD）在45°以下聲源的位置辨別作用不是很明顯。

Fig.2 Relationship between horizontal azimuth and frequency and ILD圖2 水平方位角與頻率和ILD的關(guān)系

Fig.3 Relationship between horizontal azimuth and ILD圖3 水平方位角與ILD 的關(guān)系

3.3 水平方位角的雙耳線索感知特性曲面擬合

本實(shí)驗(yàn)在測試雙耳強(qiáng)度差（ILD）的JND 值花費(fèi)了大量時間，而獲得的數(shù)據(jù)也是在不同頻率下水平方位角的雙耳線索值離散的點(diǎn)，還不能準(zhǔn)確描述3 個屬性之間的關(guān)系。目前，國內(nèi)外學(xué)者對離散點(diǎn)的處理主要利用逼近、插值和擬合3 種技術(shù)［21］。曲面擬合主要利用已知的有限點(diǎn)構(gòu)造未知點(diǎn)，這些未知點(diǎn)符合原來曲面變化規(guī)律。插值是離散函數(shù)逼近的重要方法，利用插值可以通過函數(shù)在有限個已知點(diǎn)的值上估算出函數(shù)在其他未知點(diǎn)處的近似值。目前主流的插值法有最鄰近插值法、三次樣條插值法、線性插值法、立方插值，本文采用三次樣條插值法。在數(shù)值分析中，這種插值方式主要利用分段多項(xiàng)式進(jìn)行插值，這個多項(xiàng)式就是樣條，可以使插值誤差最小［22］。

假設(shè)有以下節(jié)點(diǎn)：

樣條曲線S(x)是一個分段定義的公式。給定n+1 個數(shù)據(jù)點(diǎn)，共有n 個區(qū)間，三次樣條方程滿足以下條件：

（1）在每個分段區(qū)間[xi,xi+1]（i=0，1，…，n-1，x 遞增），S(x)=Si(x) 都是一個三次多項(xiàng)式。

（2）滿足S(xi)=yi（i=0，1，…，n）。

（3）S(x)，導(dǎo)數(shù)S'(x)，二階導(dǎo)數(shù)S''(x)在［a，b］區(qū)間都是連續(xù)的，即S(x)曲線是光滑的。

所以n 個三次多項(xiàng)式分段可以寫作：

其中，ai,bi,ci,di代表4n 個未知系數(shù)。

為了獲得更全面的數(shù)據(jù)，利用插值法對雙耳強(qiáng)度差（ILD）、水平方位角以及頻率進(jìn)行曲面插值，獲得一個三維的曲面進(jìn)行全面分析。首先是頻率的插值，測試頻率選取5 個頻段的音頻信號，這5 個頻率分別位于低頻、中頻和中高頻段，根據(jù)Bark 頻帶劃分，選取這5 個頻帶的臨界頻率作為插值點(diǎn)。頻率插值點(diǎn)如表2 所示。

Table 2 Selection of interpolation frequency表2 插值頻率選擇

然后是水平方位角的角度插值。因?yàn)殡p耳線索的JND值會隨著水平方位角的角度從人耳中垂面（0°）到左耳（90°）移動而逐漸增大，所以水平方位角的角度越大，選取的插值點(diǎn)就會越稀疏。根據(jù)雙耳感知的對稱性原理，本實(shí)驗(yàn)進(jìn)行0°到90°方位的測量，在測得水平方位角的雙耳強(qiáng)度差（ILD）的恰可感知值JND 值的基礎(chǔ)上，選取的插值點(diǎn)角度如表3 所示。

Table 3 Selection of interpolation angles表3 插值角度選擇

最后根據(jù)選取的插值點(diǎn)，利用三次樣條插值法繪制水平方位角與雙耳強(qiáng)度差（ILD）以及頻率的三維曲面圖。

對曲面圖4 進(jìn)行分析，可得出水平方位角與頻率以及水平方位角的ILD 之間存在如下關(guān)系：

（1）從參考音水平方位角看，當(dāng)聲源從人耳的中垂面（0°）向左耳（90°）移動時，人耳利用雙耳強(qiáng)度差（ILD）感知聲源方位是比較敏感的。

Fig.4 Cubic spline interpolation surface of horizontal azimuth and frequency and ILD圖4 水平方位角與頻率和ILD 的三次樣條插值曲面

（2）從頻率（50～4 800Hz）上看，理論研究表明人耳在高頻段辨別聲源方位雙耳強(qiáng)度差（ILD）起著主導(dǎo)作用，本實(shí)驗(yàn)也符合這一規(guī)律。但是在中低頻（4 000Hz）以下，水平方位角的雙耳強(qiáng)度差（ILD）在靠近人耳附近（45°以下）的值比靠近左耳（90°）附近的值低，表示人耳在低頻段靠近人耳附近的聲源利用雙耳強(qiáng)度差（ILD）感知比較敏感，隨著聲源移動到左耳附近感知會遲鈍；在高頻段（4 000Hz 以上）呈現(xiàn)相反趨勢，人耳利用雙耳強(qiáng)度差（ILD）感知水平方位角45°以下要比感知水平方位角45°以上的遲鈍，表明人耳在高頻段辨別靠近左耳附近（45°～90°）的聲源位置比較準(zhǔn)確。

4 結(jié)語

在空間音頻編碼中，雙耳強(qiáng)度差（ILD）對空間音頻定位起著重要作用。過去對空間音頻雙耳強(qiáng)度差（ILD）的恰可感知值JND 研究存在以下幾個問題：①頻帶選擇范圍窄；②將雙耳強(qiáng)度差（ILD）和雙耳時間差（ITD）混合在一起測試恰可感知差異值；③不能準(zhǔn)確得到雙耳強(qiáng)度差（ILD）與方位角相互關(guān)系，提出以水平方位角為媒介，對水平方位角的雙耳強(qiáng)度差（ILD）的恰可感知值JND 進(jìn)行感知特性測試。針對上述問題的實(shí)驗(yàn)結(jié)果表明，以水平方位角為媒介對聲源進(jìn)行定位不僅取決于雙耳強(qiáng)度差（ILD），水平方位的角度變化也對雙耳感知聲源方位有著重要影響。因此，當(dāng)多聲道音頻信號量化編碼使用空間音頻編碼技術(shù)時，不僅可以利用雙耳線索參數(shù)和恰可感知值JND 對多聲道音頻信號的音頻信息進(jìn)行高效壓縮編碼，還可根據(jù)水平方位的角度提供方位信息，減少數(shù)據(jù)冗余，從而降低音頻信號傳輸?shù)臄?shù)據(jù)量，提高音頻數(shù)據(jù)傳輸質(zhì)量。本文由于實(shí)驗(yàn)時間限制，目前只針對水平方位角的雙耳強(qiáng)度差（ILD）的感知特性進(jìn)行了研究，后續(xù)將對水平方位角的雙耳時間差（ITD）和耳間相關(guān)性（IC）對聲源方位的影響進(jìn)行探索，為空間音頻編碼研究提供更完善的數(shù)據(jù)支撐。