基于圖像識(shí)別的深度學(xué)習(xí)垃圾桶

張博文 殷 浩 扈天悅 李徜徉 馬劉奇

(1、上海海事大學(xué),上海201306 2、倫敦瑪麗女王大學(xué))

1 背景

隨著國(guó)民經(jīng)濟(jì)穩(wěn)步增長(zhǎng),人民消費(fèi)水平日益多元化,從而帶來(lái)垃圾分類的問(wèn)題,因此國(guó)家格外重視并加速推進(jìn)垃圾分類政策。當(dāng)前垃圾分類的主流有街道、社區(qū)、家庭、但垃圾分類仍是難題。目前,垃圾分類存在難度大、成本高、效率低的問(wèn)題。而垃圾更存在難以人工識(shí)別、消耗大量時(shí)間、散發(fā)氣味破環(huán)空氣質(zhì)量等諸多問(wèn)題、因此,垃圾分類大潮急需結(jié)合借助現(xiàn)代科學(xué)技術(shù),制造出一款簡(jiǎn)易、高效、造價(jià)低廉的智能化垃圾分類系統(tǒng)已成為當(dāng)前的最大需求。

自2019 年起,上海市成為了垃圾分類試點(diǎn)城市,在運(yùn)行中的垃圾分類措施給人們帶來(lái)了一定的不方便,同時(shí)造成了很大的人力資源消耗。比如許多社區(qū)規(guī)定了投放垃圾的時(shí)間且大多需要社區(qū)志愿者進(jìn)行監(jiān)督。大街上雖然有各種分類的垃圾桶,但無(wú)人監(jiān)督情況下垃圾分類的效果并不好。所以制作一個(gè)可以自主識(shí)別垃圾進(jìn)行分類的垃圾桶尤為重要。通過(guò)查閱資料發(fā)現(xiàn)市場(chǎng)上還沒(méi)有成型的產(chǎn)品在為大眾服務(wù),而少數(shù)的幾個(gè)也大多是語(yǔ)音識(shí)別,還是要投放人來(lái)對(duì)垃圾進(jìn)行判斷。

2 結(jié)構(gòu)

整個(gè)的設(shè)計(jì)由機(jī)械結(jié)構(gòu)部分、電控部分和圖像識(shí)別與交互部分三部分構(gòu)成。

2.1 機(jī)械部分

對(duì)于機(jī)械結(jié)構(gòu)方便大致分為以下幾個(gè)部分:外圍的固定部分、內(nèi)部的垃圾桶部分、中間的舵機(jī)控制部分、上層的投放口部分以及一個(gè)顯示屏。如圖1 所示。

圖1 智能垃圾桶3D 圖

對(duì)于外圍的固定部分,由于是處在實(shí)驗(yàn)室調(diào)試階段,整體的材料就采用了透明的亞克力材質(zhì)板, 既方便激光切割和彎折又便于觀察內(nèi)部的整個(gè)系統(tǒng)的運(yùn)行情況。內(nèi)部的垃圾桶采取多個(gè)小垃圾桶的形式進(jìn)行放置,方便對(duì)不同類別的垃圾進(jìn)行倒取。中間的舵機(jī)控制部分連接有一個(gè)可開(kāi)閉的小暫存盒,便于將垃圾通過(guò)旋轉(zhuǎn)投入指定垃圾桶中,小暫存盒下端還搭載有紅外距離傳感器來(lái)監(jiān)測(cè)下端垃圾桶是否滿載了。上層的投放口包含一個(gè)大的木質(zhì)蓋板將整個(gè)下層進(jìn)行密封,同時(shí)設(shè)立了一個(gè)投放口,方便人們投放垃圾,顯示屏也是搭載在上層投放口的板子上。

整個(gè)的機(jī)動(dòng)部分由移動(dòng)軸、舵機(jī)、垃圾暫存盒、支撐桿、連接器、投放板,這幾個(gè)部分構(gòu)成,通過(guò)舵機(jī)帶動(dòng)下面的垃圾暫存盒來(lái)實(shí)現(xiàn)水平面上的移動(dòng),當(dāng)盒子到達(dá)指定位置時(shí)投放板通過(guò)另一舵機(jī)來(lái)打開(kāi)角度,將垃圾倒入。圖2 為機(jī)動(dòng)部分3D 示意圖。

圖2 智能垃圾桶機(jī)動(dòng)部分3D 圖

由于還處于實(shí)驗(yàn)室階段,暫時(shí)將控制裝置也都搭載在了整個(gè)的上層木板上。

2.2 電控部分

在最初的設(shè)想是用stc52 單片機(jī)來(lái)進(jìn)行控制,但在后期的測(cè)試中其穩(wěn)定性不夠,最終挑選了TI 公司生產(chǎn)的低功耗單片機(jī)MSP430F5529 作為主控,兼具節(jié)能和穩(wěn)定兩大優(yōu)勢(shì)。

在舵機(jī)的選型方面由于控制暫存盒開(kāi)閉的舵機(jī)對(duì)角度的要求不是很高,90°就能達(dá)到要求,所以選用了15kg 的180°金屬舵機(jī)。而上層的控制投放至指定位置控制的舵機(jī)則選用了20kg 的360°轉(zhuǎn)角的金屬舵機(jī)。

由于這兩個(gè)器件都是大功率器件,有可能會(huì)損壞主控制板,所以還設(shè)計(jì)了一塊穩(wěn)壓電路板來(lái)進(jìn)行電壓的轉(zhuǎn)換,同時(shí)也有一定的隔離作用。通過(guò)AMS-ADJ 和AMS117 這兩款降壓芯片,在周圍布置電容,電阻進(jìn)行濾波,調(diào)壓等可以實(shí)現(xiàn)電壓的穩(wěn)定與電壓大小的轉(zhuǎn)換。如圖3 所示為穩(wěn)壓電路板的PCB 電路模型圖,在使用過(guò)程中將所選用的9V 電源接入可分出5V,3.3V 和6.2V 的電壓來(lái)實(shí)現(xiàn)整體的不同供電需求。為了保護(hù)主控板,對(duì)于主控板采用單獨(dú)供電的方式并和穩(wěn)壓板進(jìn)行共地。

圖3 穩(wěn)壓電路板PCB 圖

在監(jiān)測(cè)垃圾桶是否滿時(shí)使用了紅外測(cè)距模塊,同時(shí)搭配一塊小的oled 顯示屏來(lái)顯示測(cè)量的距離信息方便調(diào)試與判斷,同時(shí)向外預(yù)留了與上位機(jī)交互的引腳,來(lái)接收指令將垃圾投入指定垃圾桶,在垃圾過(guò)滿時(shí)也可以將信息傳達(dá)到上位機(jī)進(jìn)行下一步的操作。

2.3 圖像識(shí)別與交互部分

通過(guò)對(duì)于算力,速度和經(jīng)濟(jì)上面的多方面考慮最終確定了英偉達(dá)公司的Jetson Nano 作為整個(gè)項(xiàng)目的上位機(jī),在其上搭載攝像頭當(dāng)有垃圾投入時(shí)對(duì)垃圾照片進(jìn)行拍攝,然后通過(guò)網(wǎng)絡(luò)上傳至遠(yuǎn)端的服務(wù)器進(jìn)行識(shí)別,同時(shí)本機(jī)也對(duì)其進(jìn)行識(shí)別,然后將兩者進(jìn)行比較,并逐步優(yōu)化本地的識(shí)別精度,然后將垃圾信息通過(guò)串口發(fā)送至下位機(jī)來(lái)實(shí)現(xiàn)垃圾投遞。上位機(jī)還與一塊液晶顯示器連接,可以動(dòng)態(tài)播放垃圾分類的短視頻,同時(shí)在垃圾投入后顯示垃圾的種類。圖4 就是整個(gè)界面的實(shí)現(xiàn)結(jié)果顯示。

圖4 垃圾分類效果圖

圖像分類的深度學(xué)習(xí)實(shí)現(xiàn)及前端軟件分為圖像分類部分、用戶交互部分。用戶交互部分負(fù)責(zé)接收用戶的圖像并將結(jié)果展示給用戶,實(shí)現(xiàn)了一個(gè)web 服務(wù),該服務(wù)將用戶的圖像上傳到阿里云OSS 上,以便后端服務(wù)器快速下載該圖像,減少用戶的等待時(shí)間,目前一個(gè)分類請(qǐng)求從圖像捕捉開(kāi)始到完成約4300ms,耗時(shí)與客戶端上傳速度較強(qiáng)聯(lián)系,去除了上傳的圖片以外的平均請(qǐng)求時(shí)間約820ms,在體驗(yàn)過(guò)程中不會(huì)有卡頓感,也體現(xiàn)了其模型識(shí)別的速度快。

對(duì)于深度模型的訓(xùn)練我們采用較簡(jiǎn)單的VGG16 模型,它的輸入層是224 的方形RGB 圖像輸入,由于分類的目標(biāo)垃圾種類大約10 種,對(duì)VGG16 的全連接層做了修改,以便適應(yīng)我們的訓(xùn)練任務(wù)。在訓(xùn)練過(guò)程中,發(fā)現(xiàn)這樣的訓(xùn)練識(shí)別準(zhǔn)確度不高,僅78%,經(jīng)過(guò)對(duì)模型內(nèi)部參數(shù)的多次調(diào)節(jié),提高了訓(xùn)練精度,實(shí)現(xiàn)了預(yù)期的效果,對(duì)瓶子、易拉罐等常見(jiàn)家庭垃圾有了區(qū)分能力。

3 結(jié)論

有效的垃圾分類,可以方便人們更加合理的使用這些垃圾。分類之前的垃圾要想著如何處理,分類過(guò)后便可以變廢為寶,實(shí)現(xiàn)循環(huán)利用帶來(lái)更多的經(jīng)濟(jì)價(jià)值,同時(shí)減少環(huán)境污染,實(shí)現(xiàn)可持續(xù)發(fā)展。