牛家祺
刷牙是保護(hù)牙齒健康的一種重要方法,刷牙質(zhì)量對牙齒健康有很大的影響。本文提出了一種基于聲場的刷牙質(zhì)量檢測方法。該方法包括1個(gè)喉頭麥克風(fēng)(以下簡稱“喉麥”)和1個(gè)藍(lán)牙耳機(jī),分別戴在用戶的頸部喉側(cè)和耳朵上,并設(shè)計(jì)開發(fā)了一款基于Android平臺的應(yīng)用程序,該程序可以檢測用戶每天的刷牙部位和刷牙時(shí)長,有助于幫助用戶形成一種良好的刷牙方法和習(xí)慣。
系統(tǒng)設(shè)計(jì)
刷牙音頻信號捕獲和特征提取
本研究假定采用Bass刷牙法進(jìn)行刷牙,對應(yīng)地,將整個(gè)口腔區(qū)域劃分為16個(gè)檢測區(qū),如圖1所示。首先,將整個(gè)口腔劃分為門牙區(qū)和后牙區(qū),上下2個(gè)門牙區(qū)又各包含外側(cè)和內(nèi)側(cè),上下左右4個(gè)后牙區(qū)各包含外側(cè)、內(nèi)側(cè)和咀嚼面3個(gè)區(qū),共計(jì)16個(gè)區(qū)(牙面)。刷牙時(shí),當(dāng)牙刷采用Bass刷牙法對不同區(qū)域進(jìn)行清潔時(shí),與牙面的摩擦產(chǎn)生不同類型的音頻特征信號。用戶采用如圖2所示的穿戴方式佩戴藍(lán)牙耳機(jī)和喉麥,在刷牙時(shí)牙刷與牙面摩擦產(chǎn)生的原始音頻信號分別通過空氣傳播到位于藍(lán)牙耳機(jī)的麥克風(fēng),和通過骨骼、肌肉和皮膚傳播到喉麥,分別被兩路傳惑器捕獲(兩路麥克風(fēng)采樣頻率均為44100Hz,采樣速率192kbps)。
除此之外,考慮刷牙過程中總是以漱口開始和結(jié)束,我們也采集了漱口音頻信號作為一種特殊類別,以判斷刷牙的開始和結(jié)束。為了提高模型的健壯性,額外添加了背景噪聲數(shù)據(jù)作為空白類別。這2類音頻特征提取方式與刷牙音頻特征提取方式相同。
接著,針對捕獲到的雙通道音頻數(shù)據(jù)進(jìn)行數(shù)據(jù)融合(忽略傳播延遲差異),并用滑動窗口進(jìn)行分割,得到以時(shí)間片為單位的雙通道音頻數(shù)據(jù)元??紤]單個(gè)麥克風(fēng)使用192kbps采樣速率,當(dāng)前狀態(tài)每個(gè)時(shí)間片內(nèi)的數(shù)據(jù)量仍然很大。結(jié)合常用處理手段,我們分別從時(shí)域特征、頻域特征和梅爾倒頻譜特征(一種面向入耳聽覺特性的特殊頻域特征)3個(gè)維度對2個(gè)通道的原始音頻數(shù)據(jù)分別進(jìn)行統(tǒng)計(jì)特征抽取,方便后續(xù)的機(jī)器學(xué)習(xí)模型訓(xùn)練。
模型對比和選優(yōu)
通過在某中學(xué)招募10名志愿者(6名男生,4名女生),佩戴所設(shè)計(jì)的設(shè)備進(jìn)行數(shù)據(jù)采集。志愿者首先需要學(xué)習(xí)2周標(biāo)準(zhǔn)Bass刷牙方法,然后參與數(shù)據(jù)采集工作。數(shù)據(jù)采集過程中,每名志愿者穿戴圖2中的設(shè)備并按照規(guī)定的流程和規(guī)則進(jìn)行刷牙和錄音,然后遁過數(shù)據(jù)采集軟件對其刷牙區(qū)域進(jìn)行人工標(biāo)定。每人單次數(shù)據(jù)采集時(shí)長約為3分鐘,總計(jì)記錄有效原始音頻數(shù)據(jù)10小時(shí)7分鐘。通過不同窗口進(jìn)行數(shù)據(jù)特征提取會產(chǎn)生不同數(shù)據(jù)規(guī)模的、帶有標(biāo)定類別的高維特征數(shù)據(jù)集(68維,窗口大小為0.2s時(shí),數(shù)據(jù)集大小約680 Mb),用于模型的訓(xùn)練和測試。
分別采用了k近鄰、決策樹、隨機(jī)森林和神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)算法建立了刷牙區(qū)域分類器模型。通過訓(xùn)練和對比多種不同的機(jī)器學(xué)習(xí)算法,選取其中性能最優(yōu)的模型實(shí)現(xiàn)我們的Android應(yīng)用程序。實(shí)驗(yàn)結(jié)果表明,隨機(jī)森林模型性能最好,平均準(zhǔn)確率為92.4%。
系統(tǒng)總體流程
如圖3所示,系統(tǒng)整體分為前期的模型訓(xùn)練和后期的實(shí)時(shí)監(jiān)測2部分,下面分別簡述如下。
模型訓(xùn)練
通過佩戴藍(lán)牙耳機(jī)和喉麥組成的雙通道聲場采集系統(tǒng),用戶采用Bass法刷牙對16個(gè)牙面的刷牙音頻信號進(jìn)行采集和標(biāo)定。通過滑動窗口對融合信號分割,并對分割后每個(gè)時(shí)間窗口內(nèi)的原始音頻信號進(jìn)行特征抽取,獲得時(shí)域、頻域和梅爾倒頻譜特征共計(jì)68個(gè)特征,以及對應(yīng)的刷牙面標(biāo)記。
通過對采用標(biāo)準(zhǔn)刷牙方式的用戶進(jìn)行長時(shí)間跟蹤采集,結(jié)合上述數(shù)據(jù)處理方法,獲取一個(gè)標(biāo)準(zhǔn)Bass刷牙音頻信號數(shù)據(jù)特征集。然后,使用所構(gòu)建的數(shù)據(jù)集對機(jī)器學(xué)習(xí)算法分別進(jìn)行訓(xùn)練,針對常用的算法度量進(jìn)行模型對比,選取性能最好的模型用于刷牙質(zhì)量實(shí)時(shí)檢測。
實(shí)時(shí)檢測
通過采用標(biāo)準(zhǔn)Bass刷牙音頻信號數(shù)據(jù)所訓(xùn)練得到的模型,能夠?qū)π虏杉囊纛l數(shù)據(jù)進(jìn)行刷牙區(qū)域判斷,也就是說當(dāng)用戶產(chǎn)生新的刷牙音頻信號時(shí),訓(xùn)練得到的模型能夠判斷用戶正在刷哪個(gè)牙面。通過對每個(gè)牙面的刷牙時(shí)間進(jìn)行計(jì)算,判斷每個(gè)牙面是否采用了正確的刷牙方式,清潔時(shí)長是否足夠。
如果采用Bass刷牙法,要求刷牙時(shí)間不低于3分鐘,考慮中間的停頓等因素,以及我們所劃分的16個(gè)牙面,每個(gè)牙面基本監(jiān)測時(shí)間設(shè)定為lOs。刷牙過程中,我們實(shí)時(shí)地記錄每個(gè)牙面的累積清潔時(shí)間,并通過圖形化的界面向使用者展示(如圖4)。在用戶刷牙過程中,應(yīng)用程序?qū)崟r(shí)向用戶反饋刷矛質(zhì)量檢測結(jié)果:使用白包標(biāo)識正確完成清潔的區(qū)域,使用紅色標(biāo)識尚未正確完成清潔的區(qū)域。
軟件記錄用戶每天的刷牙次數(shù)和刷牙的時(shí)間信息,構(gòu)建用戶口腔衛(wèi)生日志,進(jìn)而對用戶口腔衛(wèi)生進(jìn)行中長期分析。同時(shí),考慮設(shè)備的復(fù)用性,可以分別針對多名家庭成員進(jìn)行刷牙檢測和中長期日志追蹤。
@結(jié)論
本文提出了一種基于雙通道聲場的刷牙質(zhì)量檢測方法,該應(yīng)用程序可以通過計(jì)算每一個(gè)牙列表面的刷牙時(shí)長和刷牙強(qiáng)度指導(dǎo)用戶養(yǎng)成正確的刷牙方法。下一步的工作包括:①結(jié)合智能手環(huán)進(jìn)一步提高刷牙區(qū)域檢測的精度;②目前的訓(xùn)練和測試數(shù)據(jù)集是由青少年刷牙聲音信號構(gòu)成的,數(shù)據(jù)集規(guī)模較小,下一步還需要進(jìn)一步擴(kuò)充數(shù)據(jù)集,提高模型的泛化能力,可進(jìn)一步建立成年人和老年人的刷牙聲音數(shù)據(jù)集;③在研究成果成熟后,考慮該成果的技術(shù)轉(zhuǎn)化問題,爭取能夠在現(xiàn)實(shí)生活中得到廣泛應(yīng)用。
該項(xiàng)目獲得第33屆全國青少年科技創(chuàng)新大賽創(chuàng)新成果競賽項(xiàng)目中學(xué)組計(jì)算機(jī)科學(xué)類一等獎。
專家評語
采用機(jī)器學(xué)習(xí)的方法,基于刷牙音頻信號的時(shí)域和頻域特征,建立了一個(gè)高精度的分類器定位刷牙時(shí)牙刷在上下頜牙列的區(qū)域。方法運(yùn)用了機(jī)器學(xué)習(xí)方法,結(jié)果具有較好的實(shí)用性,構(gòu)思巧妙。在未來的工作中,可考慮采用一些低成本的硬件,以進(jìn)一步提高整個(gè)系統(tǒng)的椎廣能力。