劉彥茗,張舒心,楊璐慧
(1. 山東大學(xué)機(jī)械工程學(xué)院,山東濟(jì)南250100;2. 山東大學(xué)物理學(xué)院,山東濟(jì)南250100;3. 山東建筑大學(xué)機(jī)電工程學(xué)院,山東濟(jì)南250101)
聲吶系統(tǒng)是蝙蝠在漫長進(jìn)化過程中取得成功的突出優(yōu)勢之一,目前利用聲吶系統(tǒng)進(jìn)行回聲定位的蝙蝠約有1 200種[1],且分布在地球的絕大部分地區(qū)[2]。而目前基于生物聲吶系統(tǒng)研制的工程產(chǎn)品,如聲吶、雷達(dá),在信息編碼效率、探測性能和結(jié)構(gòu)尺寸等方面較生物聲吶系統(tǒng)仍有巨大差異[3]。因此,蝙蝠聲吶系統(tǒng)是改善現(xiàn)有工程傳感系統(tǒng)的絕佳生物模型,可以為研發(fā)更優(yōu)異的仿生聲吶系統(tǒng)和工程聲吶系統(tǒng)提供靈感[4]。
蹄蝠科和菊頭蝠科蝙蝠能夠在非常復(fù)雜的自然環(huán)境中自由穿梭并高效地完成目標(biāo)識別、獵物捕捉等傳感任務(wù),它們都是由鼻孔發(fā)射超聲聲吶信號,利用耳朵接收回聲信號,通過分析回聲信號獲取關(guān)于周圍環(huán)境的傳感信息。其聲吶系統(tǒng)都具有獨(dú)特的動態(tài)特性,主要表現(xiàn)為:(1) 蝙蝠能夠根據(jù)周圍環(huán)境和傳感任務(wù)的不同,動態(tài)調(diào)整超聲聲吶信號的強(qiáng)度、方向、持續(xù)時間和發(fā)聲頻率等參數(shù)[5-6],如在植被較密集的區(qū)域或獵物的捕捉階段,蝙蝠發(fā)射的超聲脈沖信號更多,發(fā)聲頻率更高[7];(2) 蝙蝠的聲吶系統(tǒng)結(jié)構(gòu),即鼻孔周圍擋板形狀的褶皺結(jié)構(gòu)(即“鼻葉”)和耳廓,如圖1所示,在超聲信號發(fā)射和回聲信號接收過程中受肌肉的控制可以發(fā)生不同形態(tài)的動態(tài)形變,如鼻葉可發(fā)生閉合-開啟運(yùn)動(即合開運(yùn)動)和隨機(jī)運(yùn)動[8];耳廓可發(fā)生剛性運(yùn)動和柔性運(yùn)動[9-10]。數(shù)值模擬和仿生研究表明鼻葉和耳廓運(yùn)動能夠顯著地改變聲場分布,并為蝙蝠提供額外有用的傳感信息[9,11],生物研究發(fā)現(xiàn)鼻葉運(yùn)動和耳廓運(yùn)動存在一定的耦合關(guān)系,即超聲發(fā)射系統(tǒng)和回聲接收系統(tǒng)的結(jié)構(gòu)動態(tài)特性之間存在耦合關(guān)系[12],而蝙蝠聲吶系統(tǒng)的兩種動態(tài)特性(即動態(tài)聲吶信號和動態(tài)結(jié)構(gòu)形變)之間是否存在耦合關(guān)系仍然是未知的。
本文以普氏蹄蝠為研究對象,利用高速攝像機(jī)和超聲麥克風(fēng)同步采集蝙蝠的鼻葉/耳廓運(yùn)動數(shù)據(jù)及其對應(yīng)的聲吶脈沖序列數(shù)據(jù);針對出現(xiàn)頻率較高的兩種鼻葉-耳廓耦合運(yùn)動模式,即鼻葉合開-耳廓柔性運(yùn)動、鼻葉隨機(jī)-耳廓剛性運(yùn)動,利用一種專門用于神經(jīng)脈沖序列模式分類(Spike train SIMilarity Space, SSIMS)的方法[13],將聲吶脈沖序列中每個聲吶脈沖看作神經(jīng)元的一個脈沖,對兩種耦合運(yùn)動模式的聲吶脈沖序列進(jìn)行分類,以研究動態(tài)結(jié)構(gòu)形變與動態(tài)聲吶信號之間是否存在耦合關(guān)系。
本文以14只雄性普氏蹄蝠為實(shí)驗(yàn)對象,它們來自江西省永豐縣梅坑村宗祠(N27°6', E115°37')和福建省沙縣大佑山腳洞(N26°25', E117°39'),被分別安置在兩個長6.9 m、寬1.3 m、高3.2 m的飼養(yǎng)室中。為給蝙蝠提供健康穩(wěn)定的生活環(huán)境,飼養(yǎng)室常年保持相對恒溫(22℃~25℃)、恒濕(60%~70%),且蝙蝠每天攝入定量的大麥蟲和添加維生素的礦泉水,以保證充足營養(yǎng)和微量元素。因蝙蝠屬于晝伏夜出動物,為了保證白天實(shí)驗(yàn)時蝙蝠處于興奮狀態(tài),顛倒飼養(yǎng)室的照明時間,即當(dāng)?shù)貢r間6:00-18:00關(guān)燈;18:00-6:00(次日)照明。普氏蹄蝠鼻葉/耳廓結(jié)構(gòu)及其運(yùn)動度量如圖1所示。
圖1 普氏蹄蝠鼻葉/耳廓結(jié)構(gòu)及其運(yùn)動度量Fig.1 Noseleaf/Pinna structure in Hipposideros pratti and their motion metrics
為了研究蝙蝠發(fā)射的聲吶脈沖序列與鼻葉/耳廓耦合運(yùn)動模式之間的關(guān)系,本文使用圖2所示的實(shí)驗(yàn)裝置,同步采集蝙蝠發(fā)射的聲吶脈沖序列、鼻葉運(yùn)動和耳廓運(yùn)動。該實(shí)驗(yàn)裝置主要由3個高速攝像機(jī)(GigaView, Southern Vision Systems, Inc, 美國)、1個超聲麥克風(fēng)(Type 40DP,G.R.A.S Sound &Vibration, 丹麥)、NI數(shù)據(jù)采集系統(tǒng)(PXIe-6358)和輔助設(shè)備等組成。其中,高速攝像機(jī)的幀頻均設(shè)置為400幀·s-1,并保證至少2個高速攝像機(jī)能清晰地捕獲鼻葉或耳廓運(yùn)動,以便后續(xù)對鼻葉和耳廓運(yùn)動軌跡的三維重建;超聲麥克風(fēng)用于同步采集蝙蝠發(fā)射的聲吶脈沖序列;普氏蹄蝠使用的超聲聲吶信號為恒頻-調(diào)頻(Constant Frequency-Frequency Modulation, CF- FM)信號,能量主要集中在恒頻(Constant Frequency, CF)段,調(diào)頻(Frequency Modulation, FM)段的能量很少,且第二諧波(CF約為 61 kHz,F(xiàn)M約49~61 kHz)的能量最強(qiáng)。根據(jù)采樣定理,對聲音數(shù)據(jù)的采樣頻率設(shè)置為250 kHz。
圖2 采集蝙蝠聲吶脈沖序列和鼻葉/耳廓運(yùn)動的實(shí)驗(yàn)裝置Fig.2 Experimental setup for collecting sonar pulses and noseleaf/pinna motions
采集蝙蝠聲吶脈沖序列和鼻葉/耳廓運(yùn)動的實(shí)驗(yàn)步驟如下:
(1) 將蝙蝠從飼養(yǎng)室?guī)雽?shí)驗(yàn)室,并在蝙蝠左、右耳廓、鼻葉、頭部分別做白色標(biāo)記點(diǎn),其中,左、右耳廓各8個,鼻葉9個,如圖1(a)所示,用以三維重建鼻葉和耳廓的運(yùn)動軌跡,頭部標(biāo)記點(diǎn)作為判斷蝙蝠頭部是否運(yùn)動的參考點(diǎn);
(2) 打開高速攝像機(jī)和麥克風(fēng)等實(shí)驗(yàn)設(shè)備,檢查設(shè)備、Matlab程序是否運(yùn)行正常;
(3) 將蝙蝠放置在蝙蝠固定支架上,調(diào)整支架高度使蝙蝠鼻孔與超聲麥克風(fēng)處于同一高度;
(4) 在蝙蝠正前方 60 cm左右,用揚(yáng)聲器發(fā)出線性調(diào)頻信號(持續(xù)時間0.3 s,頻率范圍8~18 kHz)或人工飛蛾等誘導(dǎo)蝙蝠發(fā)射超聲信號并產(chǎn)生鼻葉和耳廓運(yùn)動;
(5) 當(dāng)目測蝙蝠鼻葉和耳廓均有較大形變時,啟動Matlab程序同時觸發(fā)高速攝像機(jī)和麥克風(fēng),分別記錄并保存3 s的鼻葉/耳廓運(yùn)動圖像數(shù)據(jù)和超聲數(shù)據(jù);
(6) 實(shí)驗(yàn)結(jié)束后,清除蝙蝠身上的所有標(biāo)記點(diǎn),并喂入2~3只大麥蟲和充足礦泉水,以補(bǔ)充能量和水分,送回飼養(yǎng)室。
為了精確地獲取蝙蝠的鼻葉運(yùn)動和耳廓運(yùn)動,只對蝙蝠頭部靜止不動且鼻葉或耳廓運(yùn)動的圖像數(shù)據(jù)進(jìn)行分析,即首先根據(jù)蝙蝠頭部標(biāo)記點(diǎn)是否運(yùn)動,篩選出蝙蝠頭部靜止不動的圖像數(shù)據(jù);然后根據(jù)鼻葉運(yùn)動和耳廓運(yùn)動的差異,對篩選出的圖像數(shù)據(jù)進(jìn)行分類。其中,鼻葉運(yùn)動主要有合開運(yùn)動和隨機(jī)運(yùn)動兩種,合開運(yùn)動是指鼻葉各部分結(jié)構(gòu)(上鼻葉、鼻孔兩側(cè)葉瓣、下鼻葉等)同時朝向鼻孔方向運(yùn)動或背離鼻孔方向運(yùn)動,如圖 3(a)所示,即鼻葉寬度和高度同時減小或增大,如圖4(a)所示。鼻葉隨機(jī)運(yùn)動是指鼻葉各部分結(jié)構(gòu)運(yùn)動方向不一致,區(qū)別于合開運(yùn)動和鼻葉靜止(最大鼻葉寬度和高度變化均小于0.02 mm[10]),其部分運(yùn)動模式如圖 3(b)所示,鼻葉寬度和高度也會出現(xiàn)同時增大或此變彼不變等現(xiàn)象,如圖4(b)所示。耳廓運(yùn)動主要有柔性運(yùn)動和剛性運(yùn)動,柔性運(yùn)動是指耳廓結(jié)構(gòu)發(fā)生非剛性形變,如圖3(c)所示,即耳廓寬度發(fā)生明顯的增大或減小,如圖4(a)所示。剛性運(yùn)動是指耳廓前后擺動,同時結(jié)構(gòu)形狀幾乎不變,如圖3(d)所示,即耳廓寬度幾乎不變,如圖4(b)所示,耳廓寬度歸一化距離變化量小于0.1。
圖3 鼻葉運(yùn)動和耳廓運(yùn)動分類Fig.3 Classification of noseleaf and pinna motions
圖4 鼻葉運(yùn)動和耳廓運(yùn)動定量描述Fig.4 Quantitative description of noseleaf and pinna motions
研究發(fā)現(xiàn)[12],鼻葉合開運(yùn)動常伴隨耳廓柔性運(yùn)動,而鼻葉隨機(jī)運(yùn)動則大多伴隨耳廓剛性運(yùn)動,因此,本文選用鼻葉合開-耳廓柔性運(yùn)動、鼻葉隨機(jī)-耳廓剛性運(yùn)動兩種鼻葉/耳廓耦合運(yùn)動模式為研究對象,分析蝙蝠聲吶系統(tǒng)結(jié)構(gòu)動態(tài)形變與其對應(yīng)聲吶脈沖序列是否存在耦合關(guān)系。
蝙蝠聲吶信號的參數(shù)主要有聲吶脈沖強(qiáng)度、時長、頻率結(jié)構(gòu)、發(fā)聲頻率等,由于本文旨在研究蝙蝠聲吶脈沖序列與其動態(tài)結(jié)構(gòu)形變之間的耦合關(guān)系,側(cè)重聲吶脈沖序列的時域結(jié)構(gòu),即只研究鼻葉/耳廓耦合運(yùn)動期間蝙蝠發(fā)射聲吶脈沖數(shù)目和激發(fā)時刻,忽略其他參數(shù)。因此,聲吶數(shù)據(jù)處理的具體步驟如下:
(1) 根據(jù)高速攝像機(jī)的幀頻(400幀·s-1),將2.1小節(jié)篩選出的兩種鼻葉/耳廓耦合運(yùn)動模式的圖片集,轉(zhuǎn)換成對應(yīng)聲吶信號的時間段;
(2) 從采集的原始聲音數(shù)據(jù)(時長為 3 s)中截取上述時間段的聲吶數(shù)據(jù),剔除不存在聲吶脈沖的數(shù)據(jù),并對存在脈沖的聲吶數(shù)據(jù)進(jìn)行濾波處理(基于漢明窗設(shè)計的FIR帶通濾波器,512階,中心頻率為61 kHz,通帶寬度4 kHz),以去除環(huán)境噪聲并保留第二諧波的恒頻成分(61 kHz),結(jié)果如圖5(a)所示;
(3) 對濾波后的聲吶數(shù)據(jù)進(jìn)行希爾伯特變換后取絕對值,得到該聲吶數(shù)據(jù)的包絡(luò)線,結(jié)果如圖5(b)所示;
(4) 以10倍于噪聲有效值的閾值,截取該聲吶數(shù)據(jù)中每個脈沖的起止時刻,結(jié)果如圖 5(c)所示,以起止時刻的平均值作為每個脈沖的激發(fā)時刻。
圖5 聲吶數(shù)據(jù)處理示意圖Fig.5 Schematic diagrams of sonar data processing
通過上述圖像數(shù)據(jù)和聲吶數(shù)據(jù)處理,建立兩種鼻葉/耳廓耦合運(yùn)動模式及其聲吶脈沖序列的數(shù)據(jù)庫,該數(shù)據(jù)庫共有來自14只雄性普氏蹄蝠的66次實(shí)驗(yàn)的102組數(shù)據(jù),其中,53組鼻葉合開-耳廓柔性運(yùn)動,49組鼻葉隨機(jī)-耳廓剛性運(yùn)動,如圖 6所示。不同鼻葉/耳廓耦合運(yùn)動模式中聲吶脈沖序列的差異主要表現(xiàn)為脈沖數(shù)目和脈沖激發(fā)時刻的差異,其中,脈沖數(shù)目的差異最為顯著,所有鼻葉合開-耳廓柔性運(yùn)動期間都只存在1個脈沖,而所有鼻葉隨機(jī)-耳廓剛性運(yùn)動期間都存在2個脈沖;脈沖激發(fā)時刻差異相對較小,每種耦合運(yùn)動模式中脈沖激發(fā)時刻都比較分散,如圖6(b)所示,圖中灰色部分為兩種運(yùn)動重疊所致,黑色在下,白色在上。
圖6 兩種鼻葉/耳廓耦合運(yùn)動模式的聲吶脈沖序列Fig.6 Sonar pulse sequences for two noseleaf/pinna motion patterns
2.3.1 SSIMS簡介
神經(jīng)脈沖模式分類(Spike train SIMilarity Space,SSIMS)是神經(jīng)科學(xué)中對神經(jīng)活動模式分類的方法之一,該方法由兩部分組成:一是對神經(jīng)脈沖序列間的距離度量,得到脈沖序列兩兩之間的相似度矩陣;二是利用非線性降維算法 t-SNE (t-distributed Stochastic Neighbor Embedding),將高維的相似度矩陣投影至低維空間,以實(shí)現(xiàn)脈沖序列的可視化和分類。該方法幾乎適用于所有類型的神經(jīng)脈沖(時間序列)數(shù)據(jù)。
其中,脈沖序列間的距離度量是利用Victor和Purpura提出的距離度量(記為“V-P距離”[14]),該度量使用一個代價函數(shù)(cost function)量化通過脈沖添加、刪除或時移等操作將一個脈沖序列Sa轉(zhuǎn)變成另一個脈沖序列Sb所需要付出的代價,示意圖如圖7所示。同時賦予每種操作相應(yīng)的代價值,其中,脈沖添加和刪除的代價值均為1。脈沖時移的代價值為q×Δt,Δt為時移距離,q為時移參數(shù),用來衡量脈沖時移的敏感度,當(dāng)q非常大時,即使脈沖時移很小距離,時移操作的代價值會很大,即對脈沖時移非常敏感,而當(dāng)q=0時,脈沖時移的代價值始終為0,即脈沖時移不產(chǎn)生任何代價,此時兩個脈沖序列轉(zhuǎn)變的代價僅來源于脈沖添加或刪除。而V-P距離則是所有可能操作組合代價值的最小值,例如圖7所示的將具有3個脈沖的序列Sa轉(zhuǎn)變成具有3個脈沖的序列Sb,可以通過分別時移3個脈沖(即“時移-時移-時移”操作組合),或刪除其中一個或多個脈沖同時在相應(yīng)位置添加脈沖,并時移剩余脈沖(如圖7所示的“刪除-添加-時移-時移”操作組合)的方法實(shí)現(xiàn)。但每種方法總的代價值不同,取決于移動參數(shù)q的選擇,當(dāng)q=2/0.3時,意味著當(dāng)Δt < 0 .3時,脈沖時移產(chǎn)生的代價值小于脈沖“刪除-添加”組合的代價值(1+1=2),此時應(yīng)優(yōu)先選用時移操作(圖7序列Sa的第2和第3個脈沖),而當(dāng)Δt > 0 .3時,優(yōu)先選用“刪除-添加”組合(圖7序列Sa的第1個脈沖),因此,圖7所示兩個脈沖序列間的V-P距離(相似度)為4。圖7用來表征脈沖序列間的相似度,即從一個脈沖序列轉(zhuǎn)變成另一個脈沖序列所需要的代價,代價通過脈沖刪除、添加和移動所賦予的權(quán)重表征。圖7中,α1表示一脈沖序列,有三個脈沖,激發(fā)時刻分別為0,0.8,1。α5該脈沖序列為另一個脈沖序列。α2~α4是中間的轉(zhuǎn)換過程。
圖7 脈沖序列間的距離度量示意圖Fig.7 Schematic diagram of spike sequences’ distance metrics
2.3.2 聲吶脈沖序列分析
利用 SSIMS方法對兩種蝙蝠鼻葉/耳廓耦合運(yùn)動模式對應(yīng)的聲吶脈沖序列進(jìn)行分析,分析框圖如圖8所示,具體步驟如下:
圖8 基于SSIMS方法的聲吶脈沖序列分析框圖Fig.8 Block diagram of SSIMS based sonar pulse analysis
(1) 隨機(jī)選取34組鼻葉合開-耳廓柔性運(yùn)動、34組鼻葉隨機(jī)-耳廓剛性運(yùn)動的聲吶脈沖序列作為訓(xùn)練數(shù)據(jù)X1,剩余19組鼻葉合開-耳廓柔性運(yùn)動、15組鼻葉隨機(jī)-耳廓剛性運(yùn)動的聲吶脈沖序列作為測試數(shù)據(jù)X2;
(2) 計算訓(xùn)練數(shù)據(jù)X1中兩兩脈沖序列之間的V-P距離,得到相似度矩陣S1(68×68 矩陣);
(3) 利用 t-SNE算法將相似度矩陣S1進(jìn)行降維,得到低維矩陣L1(68×2矩陣)和轉(zhuǎn)換矩陣 T1(68×2 矩陣);
(4) 計算測試數(shù)據(jù)X2中每組聲吶脈沖序列分別與訓(xùn)練數(shù)據(jù)中的聲吶脈沖序列之間的V-P距離,得到相似度矩陣S2(34×68 矩陣);
(5) 將相似度矩陣S2與轉(zhuǎn)換矩陣 T1相乘,得到低維矩陣L2(34×2矩陣),實(shí)現(xiàn)測試數(shù)據(jù)X2到低維空間的映射;
(6) 利用k近鄰(k-th Nearest Neighbor, kNN)算法(k=3),對低維矩陣L2分類,并與測試數(shù)據(jù)X2中聲吶脈沖序列的真實(shí)耦合運(yùn)動模式對比,以正確個數(shù)占總數(shù)的比例作為模式識別的正確率。
2.3.3 分析結(jié)果
利用 SSIMS方法對聲吶脈沖序列模式識別的正確率取決于V-P距離的脈沖時移參數(shù)q,如圖9所示。當(dāng)q=0時,脈沖時移為無代價操作,此時脈沖序列間的相似度僅取決于序列中脈沖數(shù)目差異,模式識別正確率高達(dá)100%。這表明:在102組數(shù)據(jù)中,蝙蝠在所有鼻葉合開-耳廓柔性運(yùn)動期間都只發(fā)射一個脈沖,在所有鼻葉隨機(jī)-耳廓剛性運(yùn)動期間都發(fā)射兩個脈沖,這與從數(shù)據(jù)直接觀察的結(jié)果(圖 6)相符。當(dāng) q>0時,脈沖時移操作開始要付出代價,即序列中脈沖激發(fā)時刻差異開始逐漸影響脈沖序列間的相似度,而此時模式識別正確率開始逐漸降低(圖9中階段 I),這是由于兩種鼻葉/耳廓耦合運(yùn)動模式在脈沖激發(fā)時刻差異上并不十分顯著,如圖6所示。當(dāng)4<q<36時,此時模式識別正確率整體開始上升且局部波動(圖9中階段Ⅱ),這是由于脈沖激發(fā)時刻差異對相似度的影響開始小于脈沖數(shù)目差異對相似度的影響。當(dāng)q足夠大(約36)時,對大多數(shù)脈沖序列,時移操作的代價高于“刪除-添加”組合操作的代價,序列間的相似度主要取決于脈沖數(shù)目差異,因此,此時模式識別正確率非常高(約100%),如圖9中的階段Ⅲ。
圖9 脈沖時移參數(shù)q對模式識別正確率的影響Fig.9 Effect of time shift q on pattern recognition accuracy
對測試數(shù)據(jù)低維投影L2的分類結(jié)果如圖10所示。當(dāng)q=0時,每種耦合運(yùn)動模式的聲吶脈沖序列都重合成一個點(diǎn),如圖10(a)所示,模式識別正確率為100%;當(dāng)q=8時,雖然測試數(shù)據(jù)的數(shù)據(jù)點(diǎn)比較分散,模式識別正確率也能達(dá)到 100%,分類結(jié)果如圖10(b)所示。
圖10 生物聲吶脈沖序列的分類結(jié)果Fig.10 Classification result of biosonar pulse sequences
本文首先通過生物實(shí)驗(yàn)采集普氏蹄蝠的鼻葉運(yùn)動、耳廓運(yùn)動及其同步的聲吶脈沖序列;然后針對其中出現(xiàn)頻率較高的兩種鼻葉/耳廓耦合運(yùn)動模式,即鼻葉合開-耳廓柔性運(yùn)動和鼻葉隨機(jī)-耳廓剛性運(yùn)動,利用脈沖激發(fā)時刻定量表征聲吶脈沖序列;最后利用 SSIMS方法對兩種鼻葉/耳廓耦合運(yùn)動模式的聲吶脈沖序列分類。對兩種鼻葉/耳廓耦合運(yùn)動模式的102組聲吶數(shù)據(jù)的分析結(jié)果表明:普氏蹄蝠聲吶脈沖序列的變化與其聲吶系統(tǒng)結(jié)構(gòu)的動態(tài)形變相匹配,表現(xiàn)為不同鼻葉/耳廓耦合運(yùn)動模式對應(yīng)不同脈沖數(shù)目和脈沖激發(fā)時刻的聲吶脈沖序列。這種耦合關(guān)系將蝙蝠聲吶系統(tǒng)的動態(tài)特性提升至二維,因此,可利用兩種動態(tài)特性的匹配關(guān)系改進(jìn)動態(tài)仿生聲吶系統(tǒng)的設(shè)計,推進(jìn)蝙蝠動態(tài)傳感信息編譯機(jī)制的研究。