研發(fā)無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)架構(gòu) 提升端到端人臉識(shí)別隱私保護(hù)能力

“無(wú)透鏡傳感器，可以輸出無(wú)可視化的圖像，具有高隱私、高安全等特性。結(jié)合與其配套的光電智能神經(jīng)網(wǎng)絡(luò)，將對(duì)大規(guī)模、甚至超大規(guī)模的智能感知應(yīng)用，起到重要支撐作用，進(jìn)而可用于智能安防、智能家居、自動(dòng)駕駛及其他下一代終端上。審稿人表示這項(xiàng)工作將給光學(xué)神經(jīng)網(wǎng)絡(luò)帶來(lái)長(zhǎng)足的進(jìn)步?！鼻迦A大學(xué)電子工程系陳宏偉教授表示。

陳宏偉

無(wú)透鏡傳感器模組

近日，該課題組提出一種無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)架構(gòu)。這是一項(xiàng)從研究伊始便面向工業(yè)及邊緣視覺(jué)感知的課題，具備較強(qiáng)的應(yīng)用性。無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)架構(gòu)可用于機(jī)器視覺(jué)任務(wù)，利用成像光路中插入的無(wú)源光學(xué)掩模版，在光域執(zhí)行卷積運(yùn)算，借此解決了自然場(chǎng)景中非相干光源和寬帶光信號(hào)處理帶來(lái)的挑戰(zhàn)。

以手寫數(shù)字識(shí)別任務(wù)為例驗(yàn)證該架構(gòu)中光學(xué)卷積的性能時(shí)，使用單核掩模版的手寫數(shù)字識(shí)別準(zhǔn)確率可以達(dá)到93.47%。在掩模版上并行排列多核實(shí)現(xiàn)單層多通道卷積運(yùn)算，識(shí)別精度可提升至97.21%。相比傳統(tǒng)機(jī)器視覺(jué)鏈路，可節(jié)省大約50%的能耗。

借助該成果，可實(shí)現(xiàn)自然光場(chǎng)景下的光電混合神經(jīng)網(wǎng)絡(luò)計(jì)算。面向特定任務(wù)時(shí)，可以聯(lián)合優(yōu)化光電全鏈路，同時(shí)實(shí)現(xiàn)體積和功耗的極簡(jiǎn)化，可使其便于部署在邊緣設(shè)備中。另外，無(wú)源的光學(xué)掩模版不僅可對(duì)入射光學(xué)場(chǎng)景進(jìn)行卷積運(yùn)算，而且還可進(jìn)行天然的圖像加密，從而形成人眼不可辨認(rèn)的光場(chǎng)景信息混疊圖像，借此可應(yīng)用在隱私保護(hù)的各種視覺(jué)任務(wù)場(chǎng)景中。

相比傳統(tǒng)加密解密方式，該方法省略了在傳感器端與服務(wù)器端解密可視圖像的步驟，實(shí)現(xiàn)了從光學(xué)采集到視覺(jué)任務(wù)完成全過(guò)程的隱私保護(hù)，可從根本上保障傳感成像隱私性。使用時(shí)，用尺寸為不足一厘米的傳感芯片模組直接拍攝人臉，設(shè)備端便可傳回此人的身份信息。類似地，也可完成對(duì)人臉、動(dòng)作、表情、姿勢(shì)及二維碼等多種特征的識(shí)別。

讓光學(xué)上無(wú)透鏡的編碼真正為任務(wù)服務(wù)

視覺(jué)是人類感知世界的重要途徑，人們也開(kāi)發(fā)了諸多設(shè)備來(lái)采集視覺(jué)信息，比如相機(jī)、攝影機(jī)等。一般來(lái)說(shuō)在相機(jī)架構(gòu)里，一個(gè)精準(zhǔn)的透鏡系統(tǒng)、配合后端的感光芯片、以及數(shù)據(jù)單元，完成數(shù)據(jù)處理，最終得到一張圖像。

近年來(lái)，人們對(duì)成像的理解越來(lái)越深入，也發(fā)展出了多種成像模式，以獲得更多的圖像信息，比如偏振、深度、光譜等。這些信息的獲取可以通過(guò)“光學(xué)編碼+計(jì)算解碼”的計(jì)算成像方式來(lái)完成。

相比傳統(tǒng)透鏡成像的“所見(jiàn)即所得”模式，計(jì)算成像采用“先編碼-再成像-最后解調(diào)”的方式，在光學(xué)域?qū)D像進(jìn)行編碼，通過(guò)后端算法的解碼得到質(zhì)量更高的圖像?？梢哉f(shuō)，計(jì)算成像根本上改變了成像方式，將成像從繁重的透鏡系統(tǒng)中解放出來(lái)，在成像系統(tǒng)的小型化上邁出了重要一步。

近年來(lái)，計(jì)算成像得到了更多應(yīng)用，比如人臉識(shí)別、行人檢測(cè)等。各類智能化邊緣設(shè)備的興起，對(duì)成像系統(tǒng)的小型化提出了更高要求。于是，無(wú)透鏡成像應(yīng)需而生。它的出現(xiàn)，大大地降低了整個(gè)系統(tǒng)的體積和重量，為設(shè)備部署提供了更多便利。

智能視覺(jué)感知的系統(tǒng)，包括光學(xué)端成像系統(tǒng)、光電圖像探測(cè)芯片、圖像處理芯片、以及執(zhí)行視覺(jué)任務(wù)的計(jì)算單元。無(wú)透鏡成像系統(tǒng)運(yùn)用了更優(yōu)異的光學(xué)編碼器件，可得到更好的成像效果。其芯片端使用功耗更低、敏感度更高的器件，因此可進(jìn)行更精準(zhǔn)的探測(cè)；算法端則配合更龐大的數(shù)據(jù)集和更高的算力，可得到更準(zhǔn)確的分類和識(shí)別等結(jié)果。

由于各個(gè)環(huán)節(jié)都是獨(dú)立優(yōu)化的，在感存算一體架構(gòu)中會(huì)造成很多冗余。舉例來(lái)說(shuō)，無(wú)透鏡系統(tǒng)在整個(gè)架構(gòu)中僅用于成像，其成像質(zhì)量的評(píng)價(jià)指標(biāo)也是針對(duì)人眼而制定的。而機(jī)器視覺(jué)和人眼不同，人眼可理解的圖形對(duì)于機(jī)器來(lái)說(shuō)未必是最佳。

基于此，該團(tuán)隊(duì)萌生如下想法：為何不直接面向機(jī)器視覺(jué)的任務(wù)，跳過(guò)成像的環(huán)節(jié)、把光路和各個(gè)部分級(jí)聯(lián)優(yōu)化，讓光學(xué)上無(wú)透鏡的編碼真正為任務(wù)服務(wù)，而不再追求人眼看起來(lái)的效果？這便是此次成果的研究初衷。

面向機(jī)器視覺(jué)的任務(wù)，跳過(guò)成像環(huán)節(jié)

陳宏偉表示，上述想法和光計(jì)算有異曲同工之妙，如果在光上完成計(jì)算，而計(jì)算本身是直接由任務(wù)性能驅(qū)動(dòng)，那么整個(gè)系統(tǒng)也就是其所構(gòu)想的全鏈路級(jí)聯(lián)優(yōu)化。以最常見(jiàn)的神經(jīng)網(wǎng)絡(luò)為例，目前有很多全光的神經(jīng)網(wǎng)絡(luò)可以完成視覺(jué)任務(wù)，比如衍射神經(jīng)網(wǎng)絡(luò)等。

雖然光上運(yùn)算是并行的，計(jì)算速度得到了巨大的提升，并且無(wú)額外的功耗。但是，由于衍射神經(jīng)網(wǎng)絡(luò)原理的限制，只能使用相干的單色激光作為光源，盡管可以在光上完成計(jì)算，但是無(wú)法在自然光場(chǎng)景下應(yīng)用。

而其他基于光電混合神經(jīng)網(wǎng)絡(luò)的技術(shù)，也需要配備透鏡系統(tǒng)完成運(yùn)算功能，這和邊緣設(shè)備的小型化要求也是相違背的。于是，該團(tuán)隊(duì)開(kāi)始思考：能否搭建一個(gè)無(wú)透鏡的光電混合神經(jīng)網(wǎng)絡(luò)架構(gòu)，使其既能在自然光下完成神經(jīng)網(wǎng)絡(luò)功能，又能滿足邊緣設(shè)備小型化的要求？

基于上述構(gòu)思，利用幾何光學(xué)理論，課題組探索出在非相干光下，通過(guò)無(wú)透鏡的掩膜版完成光域卷積運(yùn)算的方法，實(shí)現(xiàn)了低成本的光上特征提取和光學(xué)加密，并在圖像分類和人臉加密識(shí)別兩個(gè)系統(tǒng)架構(gòu)下完成了驗(yàn)證。更特別的是，該系統(tǒng)可以在自然光環(huán)境下工作，與現(xiàn)有的機(jī)器視覺(jué)系統(tǒng)可以完美融合。

當(dāng)人臉信息經(jīng)過(guò)無(wú)透鏡系統(tǒng)，可直接得到對(duì)應(yīng)ID

在數(shù)據(jù)爆炸的今天，人們對(duì)于人臉等隱私信息越來(lái)越重視，各種信息加密方法應(yīng)運(yùn)而生。對(duì)比電上計(jì)算的加密，光上并行加密運(yùn)算的無(wú)功耗，是一個(gè)非常重要的優(yōu)勢(shì)。

因此，該團(tuán)隊(duì)實(shí)現(xiàn)的場(chǎng)景是：當(dāng)人臉信息經(jīng)過(guò)一個(gè)無(wú)透鏡的系統(tǒng)，可以直接得到人臉對(duì)應(yīng)的ID。整個(gè)鏈路實(shí)現(xiàn)了端到端的隱私保護(hù)，芯片探測(cè)到的只是一個(gè)人眼根本無(wú)法理解的圖像。但其對(duì)于機(jī)器來(lái)說(shuō)，卻可以輕易識(shí)別出的人物身份。此外，前端光學(xué)編碼和芯片端只有厘米量級(jí)，可以輕松集成于各個(gè)邊緣系統(tǒng)中。

2022年5月4日，相關(guān)論文以《LOEN：無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)增強(qiáng)機(jī)器視覺(jué)》為題，發(fā)表在《自然》出版的頂級(jí)光學(xué)期刊上。

對(duì)于該成果，審稿人評(píng)價(jià)稱：“作者提出了一個(gè)用于機(jī)器視覺(jué)任務(wù)的無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)。該方法使用無(wú)透鏡掩模對(duì)光學(xué)圖像進(jìn)行卷積，使用后續(xù)的電硬件進(jìn)行識(shí)別。該方法減少了傳統(tǒng)光神經(jīng)網(wǎng)絡(luò)對(duì)光相干性的要求，可用于自然場(chǎng)景。光學(xué)加密也可用于對(duì)于保護(hù)隱私的面部識(shí)別。這一想法是創(chuàng)新性的，并得到了全面的理論分析和可靠的實(shí)驗(yàn)驗(yàn)證?！?/p>

用無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)架構(gòu)完成機(jī)器視覺(jué)任務(wù)

據(jù)介紹，陳宏偉所領(lǐng)導(dǎo)的課題組在光電子信號(hào)處理、集成微波光子學(xué)、光子智能等領(lǐng)域關(guān)鍵器件和技術(shù)、光電系統(tǒng)等方面均有深入研究。

實(shí)際上，對(duì)于隱私保護(hù)的視覺(jué)感知，是在該研究開(kāi)展后才逐步確立的。陳宏偉及團(tuán)隊(duì)成員在實(shí)驗(yàn)中發(fā)現(xiàn)，光學(xué)域的卷積天然的具有圖像模糊特性，于是突發(fā)奇想地討論起來(lái)：模糊圖像到底是好事還是壞事？在調(diào)研了目前產(chǎn)業(yè)界對(duì)人臉數(shù)據(jù)隱私保護(hù)的需求程度和現(xiàn)存手段之后，其認(rèn)為該系統(tǒng)的隱私保護(hù)功能在項(xiàng)目落地后會(huì)有極大的應(yīng)用前景。

無(wú)透鏡傳感器模組

近年來(lái)，光的并行性、高速度和低損耗的優(yōu)勢(shì)被逐漸關(guān)注，光學(xué)計(jì)算被認(rèn)為可以突破電子計(jì)算的瓶頸限制，光神經(jīng)網(wǎng)絡(luò)也逐漸進(jìn)入了學(xué)術(shù)界和產(chǎn)業(yè)界的視線。國(guó)內(nèi)外的一些研究團(tuán)隊(duì)紛紛展開(kāi)了對(duì)光神經(jīng)網(wǎng)絡(luò)的研究。而在國(guó)內(nèi)，該實(shí)驗(yàn)室也是較早開(kāi)展光計(jì)算的團(tuán)隊(duì)。

陳宏偉關(guān)注到，目前的光計(jì)算離實(shí)用化還非常遙遠(yuǎn)，許多關(guān)鍵問(wèn)題并未得到很好解決，比如集成性、小型化、低功耗和易用性等。由于絕大部分光神經(jīng)網(wǎng)絡(luò)計(jì)算，需要使用相干激光作為光源，或是基于龐大尺寸透鏡組的光電混合神經(jīng)網(wǎng)絡(luò)，因此難以使用在自然光照?qǐng)鼍跋碌臋C(jī)器視覺(jué)任務(wù)中，故此也無(wú)法部署在自動(dòng)駕駛、機(jī)器人等物聯(lián)網(wǎng)外圍設(shè)備上。

結(jié)合智能社會(huì)的發(fā)展需求，該團(tuán)隊(duì)提出了本次課題，即用無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)架構(gòu)完成機(jī)器視覺(jué)任務(wù)。目前，該團(tuán)隊(duì)已經(jīng)實(shí)現(xiàn)光學(xué)域上的卷積運(yùn)算，后續(xù)計(jì)劃在光計(jì)算和整個(gè)鏈路的級(jí)聯(lián)優(yōu)化上做更為深刻的探索。

首先，他們將嘗試把更多計(jì)算放在光域上去完成，進(jìn)一步降低整個(gè)系統(tǒng)的功耗和計(jì)算量。具體來(lái)說(shuō)，課題組準(zhǔn)備嘗試將非線性材料集成到現(xiàn)有系統(tǒng)上，實(shí)現(xiàn)自然光下穩(wěn)定的非線性運(yùn)算。完成非線性運(yùn)算的添加后，就能把單層卷積層擴(kuò)展為多層，利用光上的并行性完成更多的計(jì)算，不僅可以使得計(jì)算結(jié)果更準(zhǔn)確，還進(jìn)一步降低功耗和計(jì)算量。

同時(shí)，該團(tuán)隊(duì)在之前的探究中發(fā)現(xiàn)，目前成熟圖像傳感器對(duì)應(yīng)的圖像信號(hào)處理過(guò)程，是一個(gè)相對(duì)黑箱的過(guò)程，中間的很多環(huán)節(jié)也是分立優(yōu)化的，并且是以人眼為評(píng)價(jià)標(biāo)準(zhǔn)，而非面向最終的視覺(jué)任務(wù)。

故此，該團(tuán)隊(duì)計(jì)劃對(duì)圖像信號(hào)處理過(guò)程，進(jìn)行任務(wù)導(dǎo)向性的建模，以去除其中不必要的處理環(huán)節(jié)，并面向任務(wù)重新制定各個(gè)環(huán)節(jié)參數(shù)的評(píng)價(jià)指標(biāo)，將光學(xué)端、芯片端、算法端更加緊密地級(jí)聯(lián)在一起，從而優(yōu)化完整鏈路，最終在最大限度上實(shí)現(xiàn)功耗節(jié)省和性能提升。

未來(lái)，該團(tuán)隊(duì)也會(huì)在產(chǎn)業(yè)化的道路上不斷探索，完成模塊的封裝，并在現(xiàn)有系統(tǒng)的基礎(chǔ)上進(jìn)一步提升視覺(jué)任務(wù)性能。同時(shí)，也會(huì)積極開(kāi)展校企合作，攻克工程產(chǎn)業(yè)化的各種難關(guān)，將系統(tǒng)落地、并真正用于智能化設(shè)備中，以完成對(duì)現(xiàn)有機(jī)器視覺(jué)系統(tǒng)的改造與升級(jí)。