• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      基于二次引導(dǎo)圖像濾波的跨模態(tài)語(yǔ)音增強(qiáng)方法*

      2021-11-02 02:00:48馬玉潔倪旭昇趙新民錢盛友
      關(guān)鍵詞:語(yǔ)譜信噪比濾波

      馬玉潔,倪旭昇,鄒 孝,董 胡,2,趙新民,錢盛友

      (1. 湖南師范大學(xué) 物理與電子科學(xué)學(xué)院,湖南 長(zhǎng)沙 410081;2. 長(zhǎng)沙師范學(xué)院 信息科學(xué)與工程學(xué)院,湖南 長(zhǎng)沙 410100)

      0 引 言

      語(yǔ)音增強(qiáng)技術(shù)通常被用來(lái)處理語(yǔ)音的噪聲污染問題. 相比傳統(tǒng)的語(yǔ)音增強(qiáng)方法,一些新興的語(yǔ)音增強(qiáng)方法效果更好,如:結(jié)合聽覺掩蔽效應(yīng)、壓縮感知、深度學(xué)習(xí)的語(yǔ)音增強(qiáng)方法[1]. 隨著視聽交互研究的逐漸興起,利用跨模態(tài)技術(shù)對(duì)信號(hào)進(jìn)行處理的方法也開始受到關(guān)注,研究人員將原本分開處理一維聲音信號(hào)和二維圖像信號(hào)的技術(shù)轉(zhuǎn)向創(chuàng)造性的跨模態(tài)處理[2]. 我們可以利用圖像處理技術(shù)來(lái)處理語(yǔ)譜圖,這種技術(shù)已應(yīng)用于音樂轉(zhuǎn)錄、樂器聲音分離、降噪等[3-5]. 相反,我們可以從視為語(yǔ)譜圖的圖像中產(chǎn)生聲音信號(hào),這種技術(shù)稱為圖像到聲音的映射或模式回放[6-9].

      Han等[10]將監(jiān)督學(xué)習(xí)的方法擴(kuò)展到去噪中,在沒有受限玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)預(yù)訓(xùn)練的情況下對(duì)深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)進(jìn)行訓(xùn)練,DNN被訓(xùn)練直接學(xué)習(xí)從損壞語(yǔ)音的語(yǔ)譜圖到干凈語(yǔ)音的語(yǔ)譜圖的頻譜映射. 這種使用DNN進(jìn)行語(yǔ)音增強(qiáng)的方法通常比較復(fù)雜,需要大量的實(shí)驗(yàn)組,實(shí)時(shí)性不強(qiáng). 王杰等[11]提出利用圖像處理技術(shù)中的雙邊濾波算法對(duì)非平穩(wěn)語(yǔ)音信號(hào)進(jìn)行去噪,該方法可以從視覺上分析聲音的時(shí)頻特性. 但雙邊濾波通常效率偏低且在細(xì)節(jié)處理上有可能會(huì)產(chǎn)生梯度反轉(zhuǎn). 引導(dǎo)圖像濾波(Guided Image Filtering,GIF)是在雙邊濾波的基礎(chǔ)上提出的一種圖像濾波處理方法,同樣具有保持圖像邊界并對(duì)圖像進(jìn)行去噪的的特性,同時(shí),GIF在細(xì)節(jié)處理上優(yōu)于雙邊濾波且時(shí)間復(fù)雜度與窗口大小無(wú)關(guān).

      到目前為止,利用跨模態(tài)技術(shù)處理語(yǔ)音信號(hào)的方法還甚少,多數(shù)利用語(yǔ)譜圖進(jìn)行語(yǔ)音增強(qiáng)的方法也較為復(fù)雜[12,13]且參數(shù)多為人工設(shè)定. 粒子群優(yōu)化(Particle Swarm Optimization,PSO)算法在工程上用于求解優(yōu)化問題,因其需要調(diào)整的參數(shù)較少,結(jié)構(gòu)簡(jiǎn)單而被廣泛使用,而且相對(duì)于其他啟發(fā)式優(yōu)化算法來(lái)說,其能在最短的時(shí)間內(nèi)獲得更穩(wěn)定的高質(zhì)量最優(yōu)解. 本文將一維時(shí)域語(yǔ)音信號(hào)轉(zhuǎn)換為二維圖像信號(hào),以語(yǔ)譜圖為媒介,利用二次引導(dǎo)圖像濾波(Secondary Guided Image Fltering,SGIF)進(jìn)行語(yǔ)音增強(qiáng)處理,并利用PSO對(duì)SGIF中的參數(shù)進(jìn)行優(yōu)化,最后通過重疊相加法和傅里葉反變換得到增強(qiáng)的語(yǔ)音信號(hào).

      1 算法原理

      1.1 語(yǔ)音信號(hào)的語(yǔ)譜圖

      語(yǔ)譜圖也稱語(yǔ)音頻譜圖,其中,橫坐標(biāo)表示時(shí)間,縱坐標(biāo)表示頻率,坐標(biāo)點(diǎn)的像素值代表語(yǔ)音信號(hào)的能量,能量值的大小由顏色來(lái)表示. 它能將語(yǔ)音的許多特征通過二維圖像呈現(xiàn)出來(lái),采用二維平面表達(dá)三維信息. 我們可以以它為媒介完成跨模態(tài)處理.

      語(yǔ)音通常是一種隨機(jī)的非平穩(wěn)信號(hào),具有時(shí)變性,帶噪語(yǔ)音信號(hào)的數(shù)學(xué)表達(dá)式為

      x(t)=f(t)+s(t),

      (1)

      式中:f(t)為純凈的語(yǔ)音信號(hào);s(t)為噪聲信號(hào);x(t)為帶噪語(yǔ)音信號(hào). 對(duì)式(1)進(jìn)行短時(shí)傅里葉變換(STFT)變換為

      X(k,l)=F(k,l)+S(k,l),

      (2)

      其中,

      (3)

      式中:k和l分別為頻率點(diǎn)和時(shí)間點(diǎn);K為幀長(zhǎng);R為幀移;ω(n)為實(shí)數(shù)窗序列. 帶噪語(yǔ)音信號(hào)語(yǔ)譜圖的數(shù)學(xué)表達(dá)式為

      (4)

      歸一化語(yǔ)譜圖為

      (5)

      1.2 圖像濾波處理方法

      1.2.1 引導(dǎo)圖像濾波

      GIF最初在2010年由He等提出[14]. GIF的核心是引導(dǎo)圖像I與濾波輸出圖像q,兩者以像素k為中心存在一種局部線性關(guān)系,即

      qi=akIi+bk, ?i∈ωk,

      (6)

      式中:ωk為半徑r的一個(gè)方形窗口;(ak,bk)為窗口ωk中的線性系數(shù).為了使輸入圖像p與輸出圖像q最接近,根據(jù)無(wú)約束圖像復(fù)原方法將其轉(zhuǎn)化為最優(yōu)問題

      qi=pi-ni,

      (7)

      式中:ni為噪聲;pi為qi受到噪聲ni污染的退化圖像,其代價(jià)函數(shù)為

      (8)

      式中:ε為用來(lái)防止ak過大的正規(guī)化參數(shù).要保證輸出圖像和輸入圖像之間差異盡可能小,關(guān)鍵在于求出ak和bk的最優(yōu)解,通常利用最小二乘法求解出線性系數(shù)(ak,bk).求解式(8)得

      (9)

      (10)

      (11)

      (12)

      1.2.2 二次引導(dǎo)圖像濾波

      低信噪比情況下,語(yǔ)譜圖顯示噪聲主要集中分布在高頻段,利用一次GIF并不能有效估計(jì)高頻段信息,即帶有噪聲的輸入圖像p經(jīng)過一次GIF的圖像q在不同頻段上仍有殘余噪聲. 為克服一次GIF的缺陷,可用SGIF來(lái)進(jìn)一步抑制噪聲[15]. 該模型是將第一次GIF后的輸出圖像q作為SGIF的引導(dǎo)圖像,經(jīng)過SGIF輸出后的圖像為最終增強(qiáng)后的語(yǔ)譜圖q′. 利用GIF進(jìn)行去噪時(shí),去噪效果是由引導(dǎo)濾波器的正規(guī)化參數(shù)和窗口半徑?jīng)Q定的. 為了使經(jīng)過初次估計(jì)輸入圖像的結(jié)構(gòu)信息后能夠更好地保留其細(xì)節(jié)信息,所提出的SGIF窗口的設(shè)置應(yīng)該比GIF的窗口小. 因此,兩個(gè)濾波器組中正規(guī)化參數(shù)和窗口半徑不同,為了準(zhǔn)確估計(jì)噪聲信號(hào),本文利用PSO算法對(duì)濾波器組中參數(shù)進(jìn)行優(yōu)化.

      (13)

      (14)

      1.2.3 參數(shù)優(yōu)化

      GIF平滑效果與正規(guī)化參數(shù)ε和窗口半徑r有關(guān),不同的待去噪圖像以及不同的濾波器需要設(shè)置不同的參數(shù)組,參數(shù)的設(shè)置直接影響著最終的去噪效果.

      PSO算法是核心思想為群智能優(yōu)化的一種全局優(yōu)化算法,最優(yōu)問題具體包括3個(gè)特征:位置、速度、適度函數(shù). 通過對(duì)一群隨機(jī)粒子進(jìn)行搜索,利用迭代找出相應(yīng)的最優(yōu)解. 假設(shè)搜索空間為D維,種群中有m個(gè)隨機(jī)粒子,其中第i個(gè)粒子的位置用向量Xi=[xi1,xi2,…,xiD]表示,速度用向量Vi=[vi1,vi2,…,viD],i=1,2,…,m表示.第i個(gè)粒子個(gè)體搜索到最優(yōu)位置為pBesti,全局最優(yōu)位置為gBest,其中pBesti=[pBesti1,pBesti2,…,pBestiD],gBest=[gBest1,gBest2,…,gBestD].通過pBesti和gBest可以更新粒子的速度及位置,具體公式為

      vij(t+1)=

      σ*vij(t)+c1*rand1j*(pBestij(t)-xij(t))+

      c2*rand2j*(gBestj(t)-xij(t)),

      (15)

      xij(t+1)=xij(t)+vij(t+1),

      (16)

      式中:c1為控制個(gè)體經(jīng)驗(yàn)的影響權(quán)重;c2為控制社會(huì)認(rèn)知的影響權(quán)重;rand1j,rand2j為范圍[0,1]的隨機(jī)實(shí)數(shù);σ為慣性因子.

      本文利用PSO算法時(shí)優(yōu)化的是兩個(gè)參數(shù),所以搜索空間是二維的,文中直接利用結(jié)構(gòu)相似性(Structual Similarity,SSIM)作為適度函數(shù)[16],則此時(shí)t時(shí)刻第i個(gè)粒子的位置為

      (17)

      1.3 語(yǔ)譜圖的增強(qiáng)及時(shí)域信號(hào)的恢復(fù)

      (18)

      式中:k和l分別為頻率點(diǎn)和時(shí)間點(diǎn);β為取值為0~1的遺忘因子. 本文方法得到的增強(qiáng)語(yǔ)譜圖為

      y(k,l)=max{X(k,l)-αq′(k,l),0},

      (19)

      式中:α為0~αmax的常數(shù). 歸一化處理

      (20)

      應(yīng)用逆IFFT合成時(shí)域增強(qiáng)語(yǔ)音

      f(t)=IFFT{G(k,l)X(k,l)}.

      (21)

      增益為

      (22)

      式中:Gmin∈[-30 dB,-10 dB],用于限制殘留噪聲的最小值,Gmax=1. 基于PSO優(yōu)化的二次引導(dǎo)圖像濾波(SGIF-PSO)語(yǔ)音增強(qiáng)方法框圖如圖 2 所示.

      圖 2 基于SGIF-PSO語(yǔ)音增強(qiáng)方法框圖

      2 實(shí)驗(yàn)結(jié)果與分析

      本文利用Matlab2017b版本下進(jìn)行的仿真實(shí)驗(yàn)對(duì)本文算法的增強(qiáng)效果進(jìn)行驗(yàn)證. 選用的語(yǔ)音數(shù)據(jù)來(lái)源于NOIZEUS中純凈語(yǔ)音信號(hào)sp10文件,噪聲為高斯白噪聲,信噪比分別為0 dB、5 dB、10 dB. 信號(hào)采樣頻率設(shè)為8 kH,量化精度為 16 bit,幀長(zhǎng)為25 ms,幀移為10 ms,窗函數(shù)為hamming窗. PSO算法種群大小為50,最大迭代次數(shù)為200,C1=2.8,C2=1.3,權(quán)重系數(shù)ωmax=0.9,ωmin=0.4. 將本文方法與傳統(tǒng)譜減法、文獻(xiàn)[11]雙邊濾波法、GIF、未進(jìn)行粒子群優(yōu)化的SGIF方法進(jìn)行比較,結(jié)果采用信噪比(SNR)及語(yǔ)音質(zhì)量感知評(píng)估(PESQ)作為評(píng)價(jià)指標(biāo).

      首先使用本文的語(yǔ)音增強(qiáng)方法對(duì)含5 dB白噪聲的帶噪語(yǔ)音信號(hào)進(jìn)行增強(qiáng).

      圖 3 對(duì)比了增強(qiáng)前后語(yǔ)音信號(hào)的波形圖和語(yǔ)譜圖,通過時(shí)域波形可以看出,本文算法能夠有效抑制帶噪信號(hào)中的噪聲,增強(qiáng)后的語(yǔ)音整體含噪幅度明顯降低,且波形圖基本保持完整,語(yǔ)譜圖中對(duì)高頻處的噪聲抑制作用更加明顯.

      (a) 純凈語(yǔ)音

      (b) 帶噪語(yǔ)音

      (c) 增強(qiáng)語(yǔ)音

      表1 對(duì)比了5種方法在含不同信噪比噪聲情況下語(yǔ)音增強(qiáng)后的SNR結(jié)果,可以看出5種算法均能夠降低噪聲. 低信噪比情況下,會(huì)導(dǎo)致語(yǔ)音信號(hào)與噪聲信號(hào)的邊緣模糊,利用圖像處理技術(shù)能夠在有效去噪的同時(shí)最大限度地保持圖像邊緣信息. 本文算法優(yōu)于譜減法、文獻(xiàn)[11]雙邊濾波法、一次GIF和未進(jìn)行粒子群優(yōu)化的SGIF的方法,信噪比提升能力更強(qiáng). 對(duì)比文獻(xiàn)[11]中的方法,本文所提方法不會(huì)產(chǎn)生梯度反轉(zhuǎn),在細(xì)節(jié)處理上更好,不同類型不同信噪比的背景噪聲均能被有效抑制. 實(shí)驗(yàn)中雖然對(duì)于Babble噪聲的去噪效果略低于White噪聲和Factory噪聲,但是總體上本文算法具有良好的魯棒性.

      表1 5種算法輸出SNR結(jié)果對(duì)比

      表2 為5種語(yǔ)音增強(qiáng)算法在不同輸入噪聲的不同信噪比下的PESQ結(jié)果. 對(duì)比可得本文語(yǔ)音增強(qiáng)方法的PESQ值高于其他4種算法. 所提語(yǔ)音增強(qiáng)算法在White類噪聲下增強(qiáng)效果最好,相對(duì)于譜減法PESQ增加可達(dá)0.58;雖然其他3種圖像濾波方法具有保邊去噪效果,但本文所提語(yǔ)音增強(qiáng)方法的輸出語(yǔ)音整體感知質(zhì)量更高.

      表2 5種算法PESQ結(jié)果對(duì)比

      3 結(jié) 語(yǔ)

      針對(duì)低信噪比情況下非平穩(wěn)帶噪信號(hào)中語(yǔ)音噪聲在一定程度上重合,導(dǎo)致語(yǔ)音信息的邊緣被噪聲覆蓋的問題,本文采用圖像處理技術(shù),將語(yǔ)譜圖作為媒介,實(shí)現(xiàn)圖像到聲音和聲音到圖像的創(chuàng)造性轉(zhuǎn)換,達(dá)到跨模態(tài)處理的目的. 文中提出的語(yǔ)音增強(qiáng)方法具有更好的保邊去噪性,可以直接從帶噪語(yǔ)音的歸一化語(yǔ)譜圖及其增強(qiáng)語(yǔ)譜圖中計(jì)算出增益函數(shù),無(wú)需進(jìn)行噪聲估計(jì). 當(dāng)噪聲強(qiáng)時(shí),引導(dǎo)圖像邊緣遭到破壞無(wú)法提供準(zhǔn)確的引導(dǎo)信息,去噪效果遭到破壞. PSO優(yōu)化的SGIF克服了在低信噪比的情況下一次GIF不能有效估計(jì)圖像的高頻信息的缺點(diǎn),能夠通過調(diào)整濾波器組中的參數(shù)減少不同頻段的噪聲殘留. 實(shí)驗(yàn)表明,改進(jìn)的引導(dǎo)濾波有更好的邊緣平滑度和濾波效果,在PESQ和SNR評(píng)價(jià)方面有較好的性能,為后續(xù)的語(yǔ)音信號(hào)研究提供了相對(duì)純凈的語(yǔ)音信號(hào).

      猜你喜歡
      語(yǔ)譜信噪比濾波
      基于深度學(xué)習(xí)的無(wú)人機(jī)數(shù)據(jù)鏈信噪比估計(jì)算法
      HR-DCGAN方法的帕金森聲紋樣本擴(kuò)充及識(shí)別研究
      低信噪比下LFMCW信號(hào)調(diào)頻參數(shù)估計(jì)
      基于時(shí)頻域特征的場(chǎng)景音頻研究
      低信噪比下基于Hough變換的前視陣列SAR稀疏三維成像
      語(yǔ)譜圖二次傅里葉變換特定人二字漢語(yǔ)詞匯識(shí)別
      RTS平滑濾波在事后姿態(tài)確定中的應(yīng)用
      基于線性正則變換的 LMS 自適應(yīng)濾波
      保持信噪比的相位分解反褶積方法研究
      面向語(yǔ)音情感識(shí)別的語(yǔ)譜圖特征提取算法
      瓦房店市| 寻甸| 吴忠市| 阿克陶县| 大宁县| 溧水县| 涿鹿县| 彩票| 华宁县| 秭归县| 泰顺县| 乾安县| 北流市| 丰都县| 柯坪县| 景泰县| 酒泉市| 华蓥市| 尤溪县| 城市| 龙川县| 乌拉特后旗| 平遥县| 巫山县| 江门市| 成安县| 米易县| 海林市| 攀枝花市| 巴彦淖尔市| 嘉义县| 南昌县| 玛沁县| 含山县| 双流县| 海门市| 达州市| 秦安县| 大名县| 赫章县| 泾源县|