江碧怡 周菲遲 柴揚

1) (南方科技大學深港微電子學院,深圳 518000)

2) (香港理工大學應用物理學系,香港 999077)

隨著搭載于邊緣終端上的圖像與視頻等數(shù)據(jù)密集型應用的日益增長,基于傳統(tǒng)馮·諾依曼架構(gòu)的互補金屬氧化物半導體(complementary metal oxide semiconductor,CMOS)硬件系統(tǒng)正面臨著能耗、速度和尺寸等多方面的挑戰(zhàn).神經(jīng)形態(tài)器件包括具有存算一體特性的電學阻變器件和具有感存算一體特性的光電阻變器件,因其具有與生物神經(jīng)系統(tǒng)的高相似度,及其高能效、高集成度、寬帶寬等優(yōu)勢,在圖像處理應用方面展現(xiàn)出巨大發(fā)展?jié)摿?這類器件不僅能夠用于加速傳統(tǒng)圖像低階預處理和高階處理中的大量運算,且能用于實現(xiàn)仿生物視覺系統(tǒng)的高效圖像處理算法.本文介紹了最近的電學及光電神經(jīng)形態(tài)阻變器件,并結(jié)合圖像處理算法綜述了神經(jīng)形態(tài)阻變器件在圖像處理方面的硬件實施和挑戰(zhàn),并對其發(fā)展前景提出了思考.

1 引言

隨著人工智能、大數(shù)據(jù)與5G 時代的到來,圖像和視頻等應用變得普遍且占據(jù)了很大比重,尤其在移動和嵌入式系統(tǒng)、自動駕駛、機器人、醫(yī)學圖像分析和工業(yè)制造業(yè)等應用中.圖像及視頻處理是一種數(shù)據(jù)密集型應用,其數(shù)據(jù)量和任務復雜度不斷增加,縱使視覺處理算法正在快速優(yōu)化,大量的計算負載仍對實施算法的硬件系統(tǒng)構(gòu)成了挑戰(zhàn),尤其是在資源有限的移動及嵌入式系統(tǒng)中(如手機人臉識別[1]、無人機自動駕駛[2]、智能機器人交互[3]等).與固定設備不同,大多數(shù)移動設備的可用空間較小,更加限制了圖像處理模塊的計算能力.此外,在這些由電池供電的移動設備中,電池中的有限能量對計算單元的低功耗提出了更為嚴格的要求.因此,為降低響應時間、功耗和通信帶寬,迫切需要將智能、高效、強大的處理能力集成到圖像傳感系統(tǒng)中以進行高能效的實時決策.

圖像處理通?？梢苑譃榈碗A預處理(如邊緣檢測、銳化、運動檢測等)和高階處理(如圖像認知和識別等)[4].低級預處理通常涉及在原始和非結(jié)構(gòu)化數(shù)據(jù)中對數(shù)據(jù)的降維、去噪聲和特征提取,而高階處理涉及圖像的抽象表示及認知學習的過程,如識別、分類和定位.預處理操作中完成的圖像特征初步提取或圖像質(zhì)量初步提升可有效提高后期高階處理的表現(xiàn).基于互補金屬氧化物半導體(complementary metal oxide semiconductor,CMOS)器件的馮·諾依曼計算系統(tǒng),如大規(guī)?？删幊剃嚵?field-programmable gate array,FPGA),中央處理器(central processing unit,CPU),圖形處理器(graphics processing unit,GPU),專用集成電路(application-specific integrated circuit,ASIC)等已被廣泛用于實現(xiàn)不同的圖像低階及高階處理[5-8],然而,馮·諾依曼架構(gòu)硬件系統(tǒng)中處理、存儲和傳感功能的分離導致的數(shù)據(jù)在不同單元之間的頻繁傳輸和轉(zhuǎn)換限制了帶寬、功耗及延遲性能的進一步提升,不利于海量傳感數(shù)據(jù)的高能效低功耗處理的需求.

在人類的感官系統(tǒng)中,超過70%的信息是由高效率的視覺感知系統(tǒng)獲得[9].視網(wǎng)膜光感知細胞將接收到的光信號轉(zhuǎn)化為電信號,并通過視網(wǎng)膜系統(tǒng)內(nèi)部的突觸和神經(jīng)元對特征進行初步處理.視網(wǎng)膜內(nèi)感光和撤光細胞組成的同心圓區(qū)域不僅能傳遞輸入圖像的明暗信息,并能以中心和周圍細胞發(fā)射率的差異傳遞圖像對比度的信息,以此完成緣檢測和運動檢測等功能[10,11].此外,生物視網(wǎng)膜系統(tǒng)對不同頻率光輸入的不同響應使其具有增強彩色圖像的能力[12].完成預處理的圖像電信號通過視神經(jīng)被傳遞到大腦皮層,進行進一步的記憶和處理[13],最終能夠從復雜的環(huán)境圖像中高效識別出大部分所需特征.因此,模擬生物視覺系統(tǒng)感知是設計高效能圖像處理系統(tǒng)的關鍵步驟.

神經(jīng)形態(tài)電學阻變器件(resistive random access memory,RRAM)和神經(jīng)形態(tài)光電阻變器件(optoelectronic resistive random access memory,ORRAM)因其與生物視覺系統(tǒng)功能的高相似度而常用于構(gòu)成人工視覺系統(tǒng),實現(xiàn)多種圖像預處理和高階處理.在神經(jīng)形態(tài)RRAM 中,電阻值隨外部電壓刺激而發(fā)生改變的過程與生物突觸權(quán)重的改變過程非常相似.此外,一些神經(jīng)形態(tài)RRAM 還可以展現(xiàn)出與生物神經(jīng)元相似的脈沖輸出特性.因此其陣列的存算一體特性能有效模仿視覺系統(tǒng)的處理和記憶功能.感存算一體的神經(jīng)形態(tài)ORRAM 阻值可直接響應于光信號,與高度集成的生物視覺系統(tǒng)相似度更高,可進一步應用于神經(jīng)形態(tài)視覺傳感器,能夠有效避免傳感、存儲及計算單元間大量冗余數(shù)據(jù)的傳輸及轉(zhuǎn)換,進一步提高了帶寬和集成度,降低了延遲與功耗,同時增強數(shù)據(jù)的保密性[14-17].

本文首先從材料、器件結(jié)構(gòu)和原理以及神經(jīng)網(wǎng)絡應用等方面分別綜述了可用于圖像處理的神經(jīng)形態(tài)RRAM 和ORRAM;接著文章結(jié)合多種圖像預處理(包括邊緣檢測、運動檢測和圖像增強)和高階處理(包括圖像識別)等算法,綜述了基于這些器件及其陣列的硬件實現(xiàn);最后總結(jié)了該領域存在的問題,并提出未來可能的研究方向.

2 電學神經(jīng)形態(tài)阻變器件

2.1 應用于人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡(artificial neural network,ANN)在圖像增強[18]、邊緣提取[19]和圖像識別[20]等圖像處理任務中展現(xiàn)出了優(yōu)越的性能.然而,不斷增加的ANN 任務規(guī)模和復雜性給基于馮·諾依曼架構(gòu)的傳統(tǒng)計算機帶來了能耗與速度等方面的巨大挑戰(zhàn).這使得對模仿生物神經(jīng)系統(tǒng)工作方式的神經(jīng)形態(tài)器件的研究成為必要.RRAM,因其能夠以阻變機制模擬生物突觸的長程突觸可塑性(long term plasticity,LTP)[21],常被用作ANN 的人工突觸器件.LTP 特性包括長程增強特性和長程抑制特性.

以金屬導電絲的生成和斷裂作為LTP 機制的RRAM 通常由活性金屬電極(例如Cu,Ag 和Ni)/介質(zhì)層/非活性金屬電極(如Pt,Pd,W,Au 和TiN)組成[22].在外加電場的影響下,活性金屬溶解產(chǎn)生金屬離子向著惰性電極遷移,在此過程中金屬離子逐漸被還原,形成金屬導電絲,器件電導率上升,實現(xiàn)了長程增強特性.反向的電場使導電絲溶解并斷裂,電導率下降,實現(xiàn)了長程抑制特性[23].2017 年Yuan 等[24]進一步觀察到導電絲的形狀、尺寸和阻態(tài)保持時間與電極的尺寸密切相關.為緩解導電絲生成的隨機性對器件性能穩(wěn)定性的影響,Choi 等[25]利用SiGe 中的位錯將Ag 導電金屬絲限制在一維的確定通道中,器件周期性誤差和器件間誤差分別僅為1%和4.9%,且開關比可達到104.

由HfO2[26],TaOx[27],TiO2[28],SrTiO3[29]和ZnO[30]等氧化物和非活性金屬電極組成的RRAM 通常由氧空位導電絲實現(xiàn)LTP 特性.Chen 等[31]用透射電子顯微鏡技術觀測了Pt/ZnO/Pt RRAM 中氧空位導電絲的生成和斷裂(圖1(a),(b));導電絲生成和斷裂過程中器件的I-V特性曲線如圖1(c)所示.導電絲生成過程中,外加電場作用下氧空位的遷移導致導電絲處的ZnO 轉(zhuǎn)變?yōu)閆nO1—x,器件從高阻態(tài)(high resistance state,HRS)轉(zhuǎn)變?yōu)榈妥钁B(tài)(low resistance state,LRS).而反向電壓使氧離子遷移到底電極附近與氧空位復合,導電細絲斷裂,器件回到HRS.為進一步提高器件的多阻態(tài)和線性度,Wu 等[32]在HfOx介質(zhì)層和底電極之間插入了AlOx阻擋層,將導電絲的破裂和連接限制在了層間界面上.此外,TaOx熱增強層也可用于增加存儲態(tài)個數(shù).TiN/TaOx/HfOx/TiN 氧空位導電絲型RRAM 阻態(tài)數(shù)的增加來自熱增強層熱效應導致生成的多個弱導電絲.

圖1 氧空位導電絲型RRAM[31] (a) Pt/ZnO/Pt RRAM 內(nèi)生成的氧空位導電絲;(b) Pt/ZnO/Pt RRAM 內(nèi)導電絲的斷裂;(c) 導電絲生成(藍)/斷裂(紅)過程中器件的I-V 特性曲線Fig.1.Oxygen vacancy conductive filament in RRAM[31]:(a) Oxygen vacancy conductive filament formed in Pt/ZnO/Pt RRAM;(b) rupture of conductive filament in Pt/ZnO/Pt RRAM;(c) I-V characteristic curves of the device during conductive filament formation (blue) and rupture (red).

浮柵型和電解質(zhì)柵控三端RRAM 因其額外的端口而具有較好的穩(wěn)定性和控制能力,有利于提高實現(xiàn)算法的運算準確率.HfO2阻擋層/石墨烯浮柵層/Al2O3隧穿層/MoS2溝道層結(jié)構(gòu)的浮柵型RRAM具有高線性LTP 特性[33].其LTP 特性源于浮柵層在外加電場作用下存儲/釋放來自溝道的隧穿電子.恰當?shù)牟牧辖殡姵?shù)和厚度導致的高層間電容耦合度提高了電子隧穿效率,實現(xiàn)了LTP 特性的高線性度.Seo 等[34]結(jié)合WSe2溝道/WCL 浮柵通道(具有高線性長程增強特性)和MoS2溝道/WCL浮柵通道(具有高線性長程抑制特性)構(gòu)成的雙通道浮柵型RRAM 同樣具有非常高的線性度.PEOLiClO4/α-MoO3電解質(zhì)柵控型RRAM 的LTP 特性主要來源于Li 離子的調(diào)控[35].該RRAM 同時具有高線性LTP 特性以及HRS 時的超低通道電導值 (＜ 75 nS),有利于減小器件的漏電流,提高其能效.

為實現(xiàn)大規(guī)模及高分辨的圖像應用,開發(fā)基于RRAM 的大規(guī)模陣列及穩(wěn)定性調(diào)控至關重要.乘加運算(multiply and accumulation,MAC)是許多圖像處理算法的核心計算單元,如圖像識別神經(jīng)網(wǎng)絡中的向量-矩陣乘法(vector-matrix multiplication,VMM),算子邊緣提取法中卷積核和輸入圖片的卷積運算,以及圖像平滑算法中濾波器和圖片的卷積運算等.如圖2(a)所示,基于RRAM (one resistor,1R)的人工突觸陣列可以用于實現(xiàn)VMM運算[36].陣列中每個行列交叉點的電流是輸入電壓和對應RRAM 電導的乘積,即利用歐姆定律實現(xiàn)了乘法運算.此外,根據(jù)基爾霍夫電流定律,每一列輸出總電流是每個交叉點的電流之和,即利用陣列本身的結(jié)構(gòu)實現(xiàn)了加法運算[36].2018 年,Bayat 等[37]制造了基于Pt/Al2O3/TiO2—x/Ti/Pt RRAM 的20 × 20 1R 陣列.基于兩個這樣的陣列實現(xiàn)的16×10×4 全連接神經(jīng)網(wǎng)絡經(jīng)過在線訓練,于識別三組4×4 輸入字母圖片的任務上可達到70%的準確率.此外,Sheridan 等[38]制造了基于WOxRRAM 的32 × 32 1R 陣列,并基于此陣列實現(xiàn)了圖像的稀疏編碼.稀疏編碼的原理是利用從預定義的特征集中選出的部分特征來取代原圖片.選取特征時的判定標準為該特征與圖片的相似度.1R 陣列中的RRAM 突觸器件被用于存儲這些特征,并接收原圖片作為陣列的輸入.編碼過程中,相連突觸存儲的特征與輸入相似度較低的神經(jīng)元被抑制,以此完成輸入圖片的稀疏編碼.

然而,1R 陣列中的漏電流使計算準確率下降,因此陣列規(guī)模通常較小,難以應用于大規(guī)模、高分辨的圖像處理任務中[39].采用RRAM 和晶體管相連(one transistor one resistor,1T1R)的結(jié)構(gòu)能有效緩解此問題.CMOS 技術的成熟使1T1R陣列的制造難度較低,一些具有較大規(guī)模的1T1R已被制造并應用于圖像處理.如Yao 等[40]制造了基于TiN/HfAlyOx/TaOx/TiN RRAM 器件的128 × 8 1T1R 陣列,此陣列具有實現(xiàn)ANN 的能力,可用于人臉識別(圖2(b));利用128 × 64 1T1R的HfO2RRAM 陣列實現(xiàn)的循環(huán)型ANN 被應用于USFNIST 數(shù)據(jù)庫中的步態(tài)識別,準確率達79.1%[41];由選通器件和RRAM 組成的單元(one selector one transistor,1S1R) 也可用于抑制漏電流.得益于選通器件與RRAM 堆疊的結(jié)構(gòu),1S1R單元尺寸通常比1T1R 單元更小,因此1S1R 陣列(圖2(c))[42]面積開銷通常更低.選通器件的機理包括導電絲[43]、隧道結(jié)[44]、離子傳輸[45]、金屬-絕緣體轉(zhuǎn)換[46]以及肖特基勢壘[47]等.

圖2 應用于ANN 的神經(jīng)形態(tài)RRAM 陣列 (a) 1R 陣列的VMM 運算示意圖[36];(b) 1T1R 陣列實現(xiàn)ANN 的方式[40];(c) 1S1R陣列結(jié)構(gòu)[42]Fig.2.Neuromorphic RRAM arrays applied to ANN:(a) Schematic diagram of the VMM operation of 1R array[36];(b) method of implementing ANN with 1T1R array[40];(c) structure of 1S1R array[42].

2.2 應用于脈沖神經(jīng)網(wǎng)絡

脈沖神經(jīng)網(wǎng)絡(spiking neural network,SNN)作為第三代神經(jīng)網(wǎng)絡,更接近于生物神經(jīng)系統(tǒng)的行為,其使用脈沖信號傳遞信息.在該過程中,漏電整合放電(leaky integrate and fire,LIF)神經(jīng)元[48]接收到足夠的興奮信號產(chǎn)生脈沖,通過突觸傳遞給下一個神經(jīng)元.在網(wǎng)絡學習過程中,SNN 不僅能夠進行有監(jiān)督學習,其突觸的脈沖時序依賴可塑性(spiking time dependent plasticity,STDP)[49]還支持了SNN 的無監(jiān)督學習行為.此外,突觸的短程突觸可塑性(short term plasticity,STP)有利于模仿神經(jīng)系統(tǒng)的遺忘特性,加速網(wǎng)絡中較弱的噪聲信號的衰減,進一步提高神經(jīng)系統(tǒng)相似度,獲得更高性能的SNN[50,51].神經(jīng)元的LIF 特性和突觸的STDP,STP 特性使得SNN 在處理大量時空信息上具有優(yōu)勢,因此可用于圖像分割[52]、運動檢測[11]、圖像識別[53]和圖像壓縮[54]等場景.許多RRAM都展現(xiàn)出了STDP 和STP 特性,且可以與電容組合實現(xiàn)LIF 特性,因此常被用于SNN 人工突觸器件和SNN 人工神經(jīng)元器件.

兩端RRAM 人工突觸器件與生物突觸的結(jié)構(gòu)及功能都具有極高的相似度,能夠展現(xiàn)出實現(xiàn)SNN所需的STDP,STP,PPF 特性,有利于實現(xiàn)較小面積的二維陣列或高度集成的三維堆疊結(jié)構(gòu).2018 年Yan 等[55]設計了Ag/TiO2:Ag/Pt 結(jié)構(gòu)的兩端RRAM,在不同的電壓下,此RRAM 在金屬導電絲和Ag 納米團簇間的電子隧穿行為這兩種導電機制之間切換,實現(xiàn)了電導率的調(diào)控.器件的高速STDP 行為表現(xiàn)為輸入突觸的激活脈沖早于(晚于) 輸出的激活脈沖時,器件的電導率分別增加(減少),且輸入輸出脈沖到達時間差越小,電導率幅值變化越大.該器件可以通過增加脈沖幅值或脈沖數(shù)量實現(xiàn)從STP 到LTP 的轉(zhuǎn)換過程.雙脈沖易化(paired pulse facilitation,PPF)是STP 的一種表現(xiàn)形式,即相近的兩個激活/抑制脈沖可引發(fā)電導率短暫提升/降低,常由PPF 因子描述分別為第1 個和第2 個輸入脈沖后的電導率,τ1,τ2為特征衰減時間).得益于輸入脈沖后Ag 離子遷移率的殘留增強效應,Ag/TiO2:Ag/Pt RRAM 也展現(xiàn)出了PPF 行為.Ag/ZrO2/WS2/Pt金屬導電絲RRAM 被證明具有STDP 和PPF 特性,器件的STDP 特性可由指數(shù)函數(shù)擬合,即A和τ分別為強度和時間常數(shù)[56].由于ZrO2和WS2層具有不同的離子傳輸速率,Ag 導電絲的斷裂/生成被限制在層間界面上,從而使這一器件具備低功耗和高穩(wěn)健性的額外優(yōu)勢.

基于Al/Ti3C2Tx/Pt 結(jié)構(gòu),Yan 等[57]報道了具有STDP 和STP 特性的氧空位導電絲型RRAM,能夠以極窄的脈沖(10 ns)進行高速電導率調(diào)控.器件STP 到LTP 的轉(zhuǎn)換可通過增加輸入脈沖的數(shù)量、頻率或幅值實現(xiàn).Pt/KNbO3/TiN RRAM也可展現(xiàn)出SNN 所需的STDP(圖3(a),(b)),STP和強直后增強(post-tetanic potentiation,PTP)(圖3(c))特性[58].PTP 為STP 的另一種表現(xiàn),表征第10 個輸入脈沖信號產(chǎn)生的輸出電流增加程度.此外,其導電細絲的生長/溶解主要受到氧離子氧化還原過程的影響,氧離子擴散的影響可忽略不計,因此還具有高線性度的LTP 特性.改變輸入脈沖信號的數(shù)量或頻率可調(diào)控器件的電導率.

圖3 Pt/KNbO3/TiN 神經(jīng)形態(tài)RRAM[58] (a) 具有40 μm 時間差的突觸前脈沖(紅)和突觸后脈沖(綠),以及對應的等效輸入脈沖(藍);(b) 器件的STDP 特性;(c) STP(I2-I1)和PTP(I10-I1)特性Fig.3.Pt/KNbO3/TiN neuromorphic RRAM[58]:(a) Presynaptic pulse (red) and postsynaptic pulse (green) with 40 μm time difference,and the equivalent input pulse (blue) of the RRAM;(b) STDP characteristic;(c) STP (I2-I1) and PTP (I10-I1)characteristics.

擴散型Au/SiOxNy:Ag/Au RRAM 具有STDP,尖峰速率依賴可塑性(spike rate dependent plasticity,SRDP),STP,PPF 以及雙脈沖抑制(paired pulse depression,PPD)特性[59].基于Ag 納米團簇的阻變機制與生物突觸基于Ca2+的權(quán)重調(diào)制具有非常高的相似度.在初始狀態(tài)下,兩組較大的Ag 納米團簇分別聚集于頂電極和底電極.外加正電壓產(chǎn)生的焦耳熱使頂電極處的團簇分裂,在電場作用下逐漸形成導電通路與底電極處團簇連接,電導率升高.而電壓一旦撤去,團簇將自發(fā)擴散重新聚集到電極附近,電導率下降,團簇的自發(fā)擴散以及在電場下的分解和漂移使擴散型RRAM 具有STDP,SRDP,STP 和PPF 特性.而其PPD 特性來源于過高電壓下團簇傾向聚集于底電極的行為.

相比兩端結(jié)構(gòu),三端結(jié)構(gòu)的SNN 型RRAM人工突觸器件可同時利用柵電極和溝道電流分別進行阻態(tài)調(diào)控和信號傳輸操作.同時,調(diào)控通道和傳輸通道的分離可減小阻態(tài)調(diào)控信號對存儲阻態(tài)的干擾,有利于提高陣列的穩(wěn)定性和精確度.基于DEME-TFSI 離子液體/WO3結(jié)構(gòu),Yang 等[60]設計了具有STDP,LTP,PPF 和PTP 特性的三端電解質(zhì)柵控型RRAM.離子液體/WO3RRAM 的STP 特性來自低柵壓下溝道表面積聚/自發(fā)結(jié)合的離子生成的屏蔽電場,而其LTP 特性來自于高柵壓下水分子分解產(chǎn)生氫離子嵌入/嵌出溝道的行為.柵壓調(diào)控的STP 和LTP 之間的切換可用于模仿生物神經(jīng)系統(tǒng)基于注意力的長短記憶機制.基于Li 離子調(diào)控機理的LixSiO2電解質(zhì)層/Nb2O5溝道層結(jié)構(gòu)的RRAM 也具有STDP 特性[61].32×32的LixSiO2/Nb2O5RRAM 陣列與CMOS LIF 神經(jīng)元的系統(tǒng)可用于實現(xiàn)25 × 8 的SNN.RbAg4I5電解質(zhì)層/PEO 阻擋層/P3HT 溝道層結(jié)構(gòu)的低功耗RRAM 具有STDP,STP 和PPF 特性[62].得益于RbAg4I5的超離子導電性和高介電常數(shù),每次阻態(tài)變化僅需2.0 pJ 能量.

對于人工神經(jīng)元器件,傳統(tǒng)的CMOS LIF 神經(jīng)元通常由復位電路、電容和比較器組成[63].輸入脈沖可使電容電位逐漸增加,當比較器檢測到電容電位超過閾值時,復位電路將存儲的電荷清零,形成脈沖輸出.為了減少面積開銷,具有閾值開關(threshold switching,TS)特性的RRAM 常用于替代比較器和復位器,與電容并聯(lián)形成RC LIF 人工神經(jīng)元[64].Ag/SiO2/Au RRAM 的TS 特性表現(xiàn)為外加電壓大于Vth2時,Ag 導電細絲生成,RRAM從HRS 切換到LRS.外部電壓小于Vth1時,導電細絲斷裂,RRAM 回到HRS.其組成的RC LIF 人工神經(jīng)元在整合過程中,輸入脈沖通過充電回路CL給RC LIF 人工神經(jīng)元中的電容充電,RRAM 兩端電壓到達Vth2之前,輸出電流可以忽略.兩端電壓到達Vth2之后器件切換到LRS,電容通過放電回路DL 放電,產(chǎn)生輸出脈沖.Ag/SiO2/Au 器件電位下降到Vth1時,器件回到初始HRS,進入下一輪整合過程.

Pt/Ti/NbOx/Pt/Ti RRAM 也可以與電容并聯(lián)形成RC LIF 人工神經(jīng)元[65].Duan 等[65]制備了4×4 的Pt/Ta/Ta2O5/Pt/Ti RRAM 人工突觸陣列,陣列每行連接1 個NbOx人工神經(jīng)元,以此實現(xiàn)了具有4 個神經(jīng)元的SNN,能夠分辨輸入圖片的模式.為了降低RC LIF 人工神經(jīng)元的功耗,Lu 等[66]制備了Pt/Ag/TiN/HfAlOx/Pt 結(jié)構(gòu),具有臨界開關特性的RRAM.由于TiN 緩沖層對Ag擴散的限制作用和HfO2/Al2O3多層結(jié)構(gòu)下導電絲的非均勻生長,形成的導電絲較弱,器件具有極高的關斷電阻(1012)、較小的LRS 閾值電壓(0.4 V)和高低阻之間的快速開關速度(50 ns),因此與電容并聯(lián)后可以實現(xiàn)高效率LIF 特性.

不同于RC LIF 人工神經(jīng)元中電容和RRAM并聯(lián)結(jié)構(gòu),Wang 等[67]設計了Pt/Ta2O5/TaOx/Pt電容和Ag/SiOx:Ag/Ag/Pt 擴散型RRAM 串聯(lián)的電容式LIF 神經(jīng)元.此RRAM 在開/關狀態(tài)下的本征電容值不同,導致了阻態(tài)轉(zhuǎn)換后電荷在本征電容和串聯(lián)電容之間的重新分配,以此實現(xiàn)了LIF特性.同時,Wang 等[67]將電容式LIF 神經(jīng)元中的RRAM 替換為非易失RRAM,實現(xiàn)了人工突觸的功能,最終利用所設計的電容式LIF 神經(jīng)元和人工突觸實現(xiàn)了完整的脈沖神經(jīng)網(wǎng)絡.

單個RRAM 也可表現(xiàn)出LIF 特性.Wang 等[68]設計的兩端Ag/V2C/W RRAM 具有本征LIF 特性.器件的漏電、整合、放電特性分別源于無外加電壓時Ag 離子的擴散,Ag 導電細絲的生長過程,以及器件的TS 特性(圖4(a)).該RRAM 實現(xiàn)的LIF 神經(jīng)元和其LIF 特性如圖4(b)所示.其輸出脈沖的頻率可由輸入脈沖的頻率和幅值所調(diào)控(圖4(c),(d)).此外,基于氧空位導電絲的Ag/SiOx/TiN RRAM 也可以展現(xiàn)出本征LIF 特性[69].這一器件的輸出脈沖頻率不僅與輸入脈沖的頻率和幅值成正比,同時還受SiOx中氧空位的密度調(diào)控.

圖4 兩端Ag/V2C/W 型RRAM 器件[68] (a) RRAM 的TS 特性;(b) RRAM 作為人工LIF 神經(jīng)元(左)和神經(jīng)元的LIF 行為(右);LIF 人工神經(jīng)元輸出脈沖頻率受(c)輸入脈沖頻率和(d) 輸入脈沖幅值調(diào)控Fig.4.Two-terminal Ag/V2C/W type RRAM[68]:(a) TS characteristic of RRAM;(b) RRAM as an artificial LIF neuron (left) and the corresponding LIF behavior (right);modulation of LIF artificial neuron output frequency by (c) the input pulse frequency and(d) the input pulse amplitude.

Han 等[70]設計的Si/SiO2/Si3N4/SiO2/Si 浮柵型神經(jīng)形態(tài)RRAM 能同時實現(xiàn)SNN 人工神經(jīng)元所需的LIF 特性和SNN 人工突觸所需的STDP特性.器件作為人工神經(jīng)元時需要撤去外加的正向柵壓(圖5(a)).由于Si3N4浮柵層的存儲能力,器件初始處于HRS,隨后輸入漏極的脈沖信號使電荷積累在器件溝道中,電荷量到達一定閾值后溝道導通,電荷被釋放形成輸出脈沖.而作為人工突觸(圖5(b))時需要利用柵極接收來自神經(jīng)元的脈沖信號,控制Si3N4層內(nèi)捕獲電荷的密度,從而調(diào)控溝道閾值電壓,改變器件的輸出電流.人工神經(jīng)元和人工突觸的連接方式由圖5(c)所示.人工神經(jīng)元LIF 行為產(chǎn)生的輸出脈沖頻率隨人工突觸權(quán)重的增加而增加(圖5(d)).基于單一浮柵型神經(jīng)形態(tài)RRAM 構(gòu)建的陣列可實現(xiàn)SNN,并應用于字母圖案識別和人臉圖像識別的圖像處理任務中.

圖5 Si/SiO2/Si3N4/SiO2/Si 浮柵型神經(jīng)形態(tài)RRAM[70] (a) 作為人工神經(jīng)元;(b) 作為人工突觸;(c) 人工突觸和突觸后神經(jīng)元連接方式;(d) 人工神經(jīng)元LIF 行為產(chǎn)生的輸出脈沖頻率與所連接的人工突觸權(quán)重大小的關系Fig.5.Si/SiO2/Si3N4/SiO2/Si floating gate neuromorphic RRAM device[70]:(a) As artificial neuron;(b) as artificial synapse;(c) connection of artificial synapse and postsynaptic artificial neuron;(d) effects of connected synaptic weight on the artificial LIF neuron output frequency.

3 光電神經(jīng)形態(tài)阻變器件

不同于傳統(tǒng)電學調(diào)控RRAM,ORRAM 的阻值可直接響應于不同光刺激.ORRAM 具有光可調(diào)控的LTP,STP,PPF,STDP 和SRDP 等特性,不僅可用于模擬生物突觸的功能,還能與LIF 神經(jīng)元組合形成光可調(diào)控的人工光電神經(jīng)元器件,因此可作為高效能人工視覺系統(tǒng)的組成單元.ORRAM 組成的陣列能夠應用于感存算一體化智能圖像傳感器,集成圖像感知、存儲以及計算功能,具有高運行速度、高帶寬與低互連功率損耗的優(yōu)勢[71],可用于圖像銳化、降噪、邊緣檢測、運動目標檢測及圖像識別[72-75]等場景.

兩端ORRAM 因其較簡單的結(jié)構(gòu)而具有低功耗,低面積開銷和良好的可擴展性等優(yōu)勢,有利于集成大規(guī)模陣列,實現(xiàn)較復雜的圖像處理算法.Gao 等[76]報道了基于ITO/Nb-SrTiO3/Ag 結(jié)構(gòu)的ORRAM.如圖6(a) 所示,光照使界面陷阱電荷脫離,在正向電壓的作用下向頂電極方向移動,留下帶正電的界面氧空位,導致界面肖特基勢壘高度和寬度降低,對應器件電導率升高.而在負電壓下,光生電子與氧空位復合,界面肖特基勢壘的寬度和高度重新增加,器件電導率隨之降低.該器件具有可見光區(qū)寬光譜響應、輸入光脈沖頻率和數(shù)量調(diào)控的STP 和LTP 之間的轉(zhuǎn)換(圖6(b))及PPF 等特性,因而適合用于構(gòu)建人工視覺系統(tǒng),且能以外加電壓幅值的調(diào)控模仿人類關注度決定記憶強度的行為(圖6(c)).

圖6 ITO/Nb-SrTiO3/Ag 結(jié)構(gòu)的神經(jīng)形態(tài)ORRAM[76] (a) 光電調(diào)控的阻變機理;(b) 通過改變輸入光脈沖頻率或數(shù)量實現(xiàn)的STP 和LTP 特性之間的轉(zhuǎn)換;(c) 器件陣列記憶強度隨輸入電壓幅值增加而增強的特性Fig.6.ITO/Nb-SrTiO3/Ag neuromorphic ORRAM[76]:(a) Optoelectronic resistive switching mechanism;(b) transition between STP and LTP characteristics by changing the frequency or number of input optical pulses;(c) enhanced memory characteristics in the array with increased input voltage amplitude.

基于ZnO/NSTO 界面肖特基勢壘變化機理,Tan 等[77]設計了ITO/ZnO/Nb-SrTiO3(NSTO)結(jié)構(gòu)的ORRAM.該器件具有光可調(diào)控的STP,LTP,PPF 和SRDP 特性.基于此ORRAM 的人工傳入神經(jīng)具有提取手寫字母的特征.前端的壓力傳感器和紫外LED 根據(jù)輸入壓力的強度輸出不同頻率的光脈沖信號,末端的ORRAM 將多組輸入的光脈沖信號融合為一組電脈沖輸出信號,實現(xiàn)了特征的降維提取.

隨后,基于光照作用下Mo 離子的價態(tài)轉(zhuǎn)變機理,Zhou 等[78]設計了有紫外光可塑性的ORRAM(圖7(a)),并將其首次應用于圖像處理.由圖7(b)所示,紫外光照下光生空穴和水分子反應產(chǎn)生H+離子.H+離子和MoOx反應產(chǎn)生具有導電特性的HyMoOx,實現(xiàn)Mo6+到Mo5+的價態(tài)轉(zhuǎn)換,器件從HRS 轉(zhuǎn)換到LRS.相對地,負向電壓能使H+離子從MoOx向Pd 電極漂移,Mo5+轉(zhuǎn)變回Mo6+,回到HRS.此器件的STP (圖7(c))和LTP (圖7(d))特性使ORRAM 人工突觸陣列同時具備圖像傳感、圖像記憶和圖像預處理功能[78].

圖7 ITO/MoOx/Pd 神經(jīng)形態(tài)ORRAM[78] (a) 器件結(jié)構(gòu);(b) 基于Mo 離子價態(tài)轉(zhuǎn)變的電阻調(diào)控機理;(c) ORRAM 的STP 特性;(d) ORRAM 的LTP 特性Fig.7.ITO/MoOx/Pd neuromorphic ORRAM[78]:(a) Device structure;(b) resistive switching mechanism based on change of Mo ion valence state;(c) STP characteristic of ORRAM;(d) LTP characteristic of ORRAM.

光照影響導電細絲的斷裂和形成這一特性同樣可用來構(gòu)建ORRAM.Liu 等[79]設計了Al/TiS3/ITO 結(jié)構(gòu)的ORRAM.光照條件下,光生電子抑制了Al 原子的氧化,使導電細絲的斷裂更加困難,實現(xiàn)了電阻值的調(diào)控.受益于TiS3的寬光譜吸收能力,此器件具有寬光譜響應能力.在相同條件下,短波長光照下產(chǎn)生的氧化抑制電子數(shù)量更多,電導值更大.此外,該ORRAM 器件不僅有良好的突觸可塑性,較大的開關比率,還具有STDP 特性.

得益于二維材料所具有的獨特光電性質(zhì),基于二維材料的三端ORRAM 具有優(yōu)越的光可調(diào)控性和寬光譜響應等優(yōu)點,同時可支持多信號同時輸入的優(yōu)勢[80].Xiang 等[81]設計了基于BN/WSe2異質(zhì)結(jié)結(jié)構(gòu)的三端ORRAM (圖8(a)).如圖8(b)所示,負柵壓下光生電子從BN 漂移到WSe2溝道層,電導率上升,剩下的正電荷儲存在BN 層中[81].這些正電荷產(chǎn)生的屏蔽電場降低了溝道的閾值電壓,實現(xiàn)了器件的存儲功能.而正柵壓下,光生空穴向溝道漂移,電導率下降.該ORRAM 在輸出電流比率(1.1×106)、阻態(tài)數(shù)(＞ 128)、阻態(tài)保持時間(＞ 4.5×104)、循環(huán)耐久性(＞ 200 次)上展現(xiàn)出了優(yōu)良的表現(xiàn).此外,具有寬帶頻譜上的高分辨率響應,這一特性為它在3×9 陣列中直接檢測和存儲彩色圖像的應用提供了支持(圖8(c))[81].

圖8 基于BN/WSe2 異質(zhì)結(jié)結(jié)構(gòu)的三端ORRAM[81] (a) 器件結(jié)構(gòu);(b) 光電調(diào)控的阻變原理;(c) ORRAM 組成的陣列對不同波長光輸入的不同存儲效應Fig.8.Three-terminal ORRAM device based on BN/WSe2 heterostructure[81]:(a) Device structure;(b) switching mechanisms;(c) different storage levels resulted from different light wavelengths in ORRAM array.

Zhang 等[82]報道了h-BN/WSe2/Al2O3/BP 結(jié)構(gòu)的三端ORRAM 人工突觸,同時具有高線性度和高對稱性正光電導和負光電導特性.正柵壓使WSe2層內(nèi)的電子隧穿到達頂電極,層內(nèi)余留的空穴產(chǎn)生作用于BP 溝道的電場,器件電導率上升.隨即施加的負向電壓和光照使空穴獲得能量越過h-BN/WSe2表面勢壘,離開WSe2層,器件電導率下降,產(chǎn)生負光電導.產(chǎn)生正光電導的過程與之相反.WSe2的寬光譜吸收能力使ORRAM 能夠響應不同波長的光照,因此被用于彩色小車的動作檢測和識別.

有機材料因其良好的延展性、靈活性和低制造成本等優(yōu)勢而被認為是實現(xiàn)ORRAM 人工突觸的選擇之一.Wang 等[83]設計了有機材料PTCDA/二維材料MoS2結(jié)構(gòu)的ORRAM.光照條件下,大量光生電子從PTCDA 隧穿入MoS2溝道,電導率上升,光照撤去后,電子逐漸回到PTCDA 層,電導率降低.通過控制柵壓的幅值或輸入光脈沖的數(shù)量可實現(xiàn)STP 和LTP 之間的轉(zhuǎn)換.該ORRAM還展現(xiàn)出SRDP 和PPF 特性.此外,零維量子點材料(QDs)具有良好的電荷捕獲性能和光電響應能力,因而有利于實現(xiàn)高響應率的ORRAM.Zhu 等[84]利用CNT/CsPbBr3-QDs 結(jié)構(gòu)在可見光區(qū)實現(xiàn)了具有高光敏度的ORRAM.在正向柵壓條件下,光照產(chǎn)生的電子被CsPbBr3-QDs 所捕獲,而空穴漂移到CNT 溝道層,器件電導值升高.外加負向柵壓可以使電導值重新降低.此器件對光輸入具有高響應率(5.1 × 107A/W)和高探測率(2 × 106Jones,1 Jones=1 cm·Hz1/2·W—1),同時也具有LTP,STP 和PPF 等生物突觸特性.基于此ORRAM 制造的32 × 32 陣列可以模仿學習增強記憶這一生物特性.在輸入陣列的弱光脈沖(1 μW/cm2)從0 個增加到200 個的過程中,陣列權(quán)重中存儲的圖片與輸入目標圖片的相似度從約65%逐漸提高到95%.

當前大多數(shù)ORRAM 主要基于光學和電學的共同調(diào)控(如光學或電學復位),而純光學ORRAM的電阻調(diào)控僅依賴于光照,不需要電信號輔助.這類ORRAM 構(gòu)成的人工視覺系統(tǒng)所需的連接更少,具有高帶寬、高計算效率和低互擾等優(yōu)勢,因此被認為能更好地模擬生物視覺系統(tǒng)的行為.Hu 等[85]基于Au/缺氧IGZO/富氧IGZO/Pt 結(jié)構(gòu)實現(xiàn)了純光學調(diào)控的二端ORRAM(圖9(a)).如圖9(b)所示,施加波長較短的可見光和波長較長的近紅外光分別可以使器件電導率上升和下降,這是由于在短波長條件下,界面氧空位的電離占主導地位,產(chǎn)生的電離氧空位帶正電,使界面勢壘變窄;而在長波長條件下,由隧穿電子與電離氧空位發(fā)生的中和反應占主導地位,使界面勢壘重新增寬[85].這一器件還具有光調(diào)控的STDP 特性(圖9(c))[85].

圖9 Au/富氧IGZO/缺氧IGZO/Pt 結(jié)構(gòu)的ORRAM[85] (a) 器件結(jié)構(gòu);(b) 可見光脈沖(420 nm)使器件電導率上升和近紅外光脈沖(800 nm)使器件電導率降低的過程;(c) 光調(diào)控的STDP 特性Fig.9.Au/oxygen-deficient IGZO/oxygen-rich IGZO/Pt ORRAM[85]:(a) Device structure;(b) conductivity increasing realized by visible light pulses (420 nm) and conductivity decreasing realized by near-infrared light pulses (800 nm);(c) light modulated STDP characteristic.

Hou 等[86]設計的兩端Pyr-GDY/石墨烯/PbS量子點ORRAM 在柵壓為零時,輸入450/980 nm的光脈沖信號可以得到負/正光電流響應.這一特性來源于石墨烯和Pyr-GDY 之間的功函數(shù)差異,短波長光照下,Pyr-GDY 的光響應占主導地位,大量光生電子進入石墨烯層導致其電導率降低.相反,長波長光照下,PbS 量子點的光響應占主導地位,光生空穴進入石墨烯層,電導率升高.此外,通過集成在紅色光(635 nm)照射下具有正光電導的Bi2O2Se 材料和在紫外光(365 nm)照射下具有負光電導的石墨烯材料,也可以實現(xiàn)光波長調(diào)控的ORRAM[87].與生物突觸相似,這一器件具有長程記憶、短程記憶和PPF 特性.

此外,除了利用光電突觸器件,Pei 等[88]將TiN/PbS-QDs/ITO ORRAM 人工突觸和基于Ag/MoOx/Ag RRAM 的RC LIF 神經(jīng)元電路相連接,構(gòu)造了人工光電神經(jīng)元.光照強度增強時,ORRAM 人工突觸電導率上升,輸入LIF 神經(jīng)元的電流增加,導致人工光電神經(jīng)元的輸出脈沖頻率上升.這一特性使其可實現(xiàn)于汽車自動駕駛中的碰撞檢測.兩輛無人駕駛汽車距離越近,來自對方車燈的光照越強,人工光電神經(jīng)元輸出脈沖頻率升高,汽車速度隨之降低.John 等[89]設計的基于ReS2的ORRAM與CMOS LIF 神經(jīng)元相連接后(圖10(a))也可以展現(xiàn)出輸出脈沖頻率受光調(diào)控的性質(zhì),且可以接受不同波長的光作為輸入(圖10(b)).

圖10 基于ReS2 ORRAM 與CMOS LIF 神經(jīng)元構(gòu)建的光可調(diào)控神經(jīng)元[89] (a) 光可調(diào)控神經(jīng)元結(jié)構(gòu);(b) 光可調(diào)控神經(jīng)元輸出脈沖頻率在光照下增加的行為Fig.10.Light tunable artificial neuron based on ReS2 ORRAM and CMOS LIF neuron [89]:(a) Structure of light tunable artificial neuron;(b) increasing of light tunable artificial neuron output frequency in response to light illumination.

4 阻變神經(jīng)形態(tài)器件在圖像處理的應用

描述型的傳統(tǒng)圖像處理算法通常使用人為定義的特征來判定圖像類別,因此很難應對實際應用中可能出現(xiàn)的未定義場景和噪聲干擾.然而,具有自我學習能力的神經(jīng)網(wǎng)絡(全連接ANN、卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)和SNN 等)能夠發(fā)現(xiàn)輸入數(shù)據(jù)之間的基礎規(guī)律,預測到所有可能的干擾因素,使實際結(jié)果和預測結(jié)果之間的誤差最小,因而具有更好的準確率和穩(wěn)定性[90].然而,隨著所需處理的數(shù)據(jù)量和任務復雜度的不斷增加,所需神經(jīng)網(wǎng)絡的規(guī)模也在不斷增加,大大提高了功耗和計算時間.包括運動檢測、邊緣檢測和圖像增強[4]等操作的圖像預處理因其計算復雜度通常低于神經(jīng)網(wǎng)絡的計算復雜度,且同樣具有增強圖像中的相關信息,抑制冗余噪聲的功能[91],從而可以用于減小后端神經(jīng)網(wǎng)絡的計算壓力,有助于提高其效率和準確率.RRAM 和ORRAM 常被應用于實現(xiàn)圖像預處理和圖像識別.相比具有分立傳感,信號轉(zhuǎn)換,計算和存儲等模塊的傳統(tǒng)CMOS 電路,基于神經(jīng)形態(tài)器件的系統(tǒng)具有更高的集成度和并行運算能力,有利于實現(xiàn)更高能效、更低延遲的圖像處理.

4.1 邊緣檢測

圖像的像素值包含了圖像的明暗信息,因此,圖像的邊緣可以看作像素值階躍變化的像素點集合,即像素值的導數(shù)較大的位置集合.圖像邊緣檢測可以通過比較并判定相鄰像素值幅值的差別是否大于特定閾值來實現(xiàn).隨著輸入圖像維數(shù)的增加,傳統(tǒng)的CMOS 邊緣檢測電路將在處理器和存儲器之間的數(shù)據(jù)交換上消耗大量能量.2019 年,Chakraborty 等[92]提出用RRAM 存算一體陣列并行運算的優(yōu)勢來加速這一差別判定算法,通過訓練得出RRAM 陣列的一種權(quán)重模式,使陣列以這種模式工作時的輸出與差別判定算法的輸出具有最高的相似度.訓練所得的RRAM 陣列可實現(xiàn)BSD500 數(shù)據(jù)庫的邊緣提取.

Pannu 等[93]改進了基于RRAM 陣列的差別判定邊緣檢測法,原始的二輸出差別判定算法被改進為三輸出(存在/不存在/不重要)算法.比起模仿二輸出算法的陣列提取的邊緣圖像,模仿三輸出算法的8×8 HfO2RRAM 陣列提取的邊緣圖像噪聲更少且所需能耗更低.Mannion 等[94]將輸入像素值映射到脈沖頻率,設計了基于RRAM 分壓器的頻率差檢測電路(圖11(a))來實現(xiàn)差別判定邊緣檢測法.如圖11(b)所示,若輸入頻率不同,RRAM兩端的輸入信號無法相互抵消,兩個器件的電導值分別上升/下降,使輸出信號包含兩組具有不同幅值的脈沖序列.輸入頻率差越大,幅值的差別越大.基于RRAM 分壓器的頻率差檢測電路不需要額外的訓練過程,識別過程中也不依賴于電源和控制信號,極大地減少了電路復雜程度.基于這一電路提取的圖片邊緣如圖11(c)所示.

圖11 基于神經(jīng)形態(tài)阻變器件頻率差檢測電路實現(xiàn)的圖像邊緣提取[94] (a) 基于RRAM 分壓器的頻率差檢測電路(右)和所使用的器件結(jié)構(gòu)(左);(b) 兩組輸入脈沖頻率相同(左)和不同(右)時頻率差檢測電路的輸出;(c) 原圖和頻率差檢測電路提取的圖片邊緣Fig.11.Edge detection based on frequency difference circuit implemented by neuromorphic RRAM[94]:(a) Frequency difference detection circuit (right) and the adopted RRAM (left);(b) output of the frequency difference detection circuit when two sets of the input pulses are at the same frequency (left) and different frequencies (right),respectively;(c) original image and extracted edges by frequency difference detection circuit.

算子邊緣提取法利用差分算子和圖像卷積的結(jié)果估計圖像像素值的梯度,檢測圖像的邊緣.每個差分算子中包括兩個卷積核,分別用于估計橫向和縱向梯度,最終輸出為兩組卷積結(jié)果的平方和.RRAM 陣列常用于加速此卷積運算.Li 等[95]制造了基于Ta/HfO2/Pd RRAM 的1T1R 陣列來加速Sobel 算子的卷積運算.此器件具有高線性度、多阻態(tài)和高產(chǎn)量(99.8%)的優(yōu)點,因此其陣列可以達到較大規(guī)模(128×64),支持多個卷積核并行運算.Lin 等[96]設計的三維HfO2RRAM 陣列可用于加速基于Prewitt 算子的邊緣提取運算.

蟻群邊緣檢測算法是一種高效的生物啟發(fā)式算法.通過將路徑長度設置為像素值之間的差,即利用蟻群通過信息素的更新選擇最短路徑的行為來進行邊緣檢測.而該行為與RRAM 電導值受輸入電流影響而更新的趨勢具有很高的相似度[97].在實現(xiàn)蟻群優(yōu)化邊緣檢測算法的陣列中,每一個RRAM 單元對應一個像素值,ML和MU控制當前單元與左/右單元連接模擬螞蟻行進方向,MDD用于更新電導值(模擬信息素更新).圖片邊緣提取完畢后,以Mread和Mini分別控制讀取結(jié)果和重新置位.Yu 等[98]通過在圖像外部填充對稱像素,定義了螞蟻運動的邊界,進一步提高了基于RRAM 的蟻群邊緣檢測法的精確度,所設計的以外部控制電路和1R 陣列組成的RRAM 蟻群邊緣檢測電路具有更小的面積開銷.改進的蟻群邊緣檢測法提取的邊緣比Sobel 算子提取的邊緣更加清晰.

光感受細胞、雙極細胞和輸入神經(jīng)節(jié)細胞組成的生物視網(wǎng)膜系統(tǒng),可以將光信號中心強度和邊緣強度之間的差別編碼為不同頻率的脈沖輸出(見圖12(a)),以此完成邊緣提取圖像預處理操作[99].Bao 等[99]基于此設計了如圖12(b)所示的基于HfOxRRAM和CMOS 晶體管的人工視網(wǎng)膜單元,其中晶體管T 與RRAM 組成了人工雙極細胞,剩余晶體管實現(xiàn)了神經(jīng)節(jié)細胞的LIF 特性.如圖12(c)所示,人工視網(wǎng)膜單元輸出脈沖的頻率同時與Vth端口的輸入(模擬光信號輸入)和input 端口的輸入(模擬來自其他神經(jīng)元的生物脈沖輸入)相關[99].以該人工視網(wǎng)膜單元組成的人工視網(wǎng)膜網(wǎng)絡因其高度并行的處理模式而具有很高的效率,有利于實現(xiàn)移動終端中的實時邊緣提取功能.

圖12 基于RRAM 和CMOS 晶體管人工視網(wǎng)膜單元實現(xiàn)的邊緣提取[99] (a) 生物視網(wǎng)膜系統(tǒng)(光感受-雙極-神經(jīng)節(jié)細胞)對不同輸入光照的不同輸出脈沖頻率;(b) 人工視網(wǎng)膜單元結(jié)構(gòu);(c) 人工視網(wǎng)膜單元輸出信號V0 隨Vth 端口輸入信號和input 端口輸入信號的變化Fig.12.Unit of artificial retinal system based on RRAM for edge extraction[99]:(a) Different output frequencies of the biological retinal system (photoreceptor cells-bipolar cells-ganglion cells) in response to different light pulse inputs;(b) structure of artificial retinal system unit;(c) change of the artificial retinal system unit output signal V0 with respect to input signals from Vth port and input port.

4.2 運動檢測

運動檢測是從時間圖像序列中檢測物體運動行為的過程,常用于智能監(jiān)控[100]、交通情況檢測[101]和運動物體追蹤[102]等場景.RRAM 具有的存算一體特性使前一幀圖片信息的存儲和部分計算可以在同一器件內(nèi)完成,有利于減少器件的面積和能耗.ORRAM 具有的感存算一體特性可進一步提高運算效率.差別判斷是常見的運動檢測方案之一,通過檢測連續(xù)兩幀圖片之間的差別,并將差值與特定閾值相比較,可以判斷運動行為是否發(fā)生.Maan 等[103]設計了基于RRAM 的二元可變電阻閾值邏輯單元來進行差別判斷.輸入圖像的每4 個像素連接到一個四輸入的邏輯單元.在檢測過程中,t1時刻的4 個圖像像素(x1-4)分別輸入到存儲著t1—Δt時刻圖像信息(w1-4)的4 個RRAM 中.Δt為前后兩幀圖片的時間差.當t1與t1—Δt時刻的輸入有顯著不同時,RRAM 的輸出電流之和超過末端反相器的閾值,使輸出翻轉(zhuǎn).完成當前時刻的檢測后,位于器件前端的訓練電路將t1時刻的輸入信息寫入權(quán)重,以便t1+Δt時刻的判斷.實驗證明該二元可變電阻閾值邏輯單元所組成的陣列可以實現(xiàn)運動目標的追蹤.

Zhang 等[82]設計了一個基于三端h-BN/WSe2/Al2O3/BP ORRAM 陣列的神經(jīng)形態(tài)運動檢測電路.兩個正光電導和負光電導(W/—W) ORRAM 陣列分別用于感應先后兩幀圖片陣列輸出的疊加即為運動檢測的結(jié)果.隨后,為進一步完成目標識別,ORRAM 被用于構(gòu)建ANN.h-BN/WSe2/Al2O3/BP ORRAM的高線性度和對稱性LTP 特性使構(gòu)建的ANN 表現(xiàn)出良好的抗噪聲能力.

基于圖像幀的傳統(tǒng)運動檢測機制比起生物視網(wǎng)膜光感受-雙極-神經(jīng)節(jié)細胞給光/撤光反應運動檢測機制,其能耗大且延遲高.Wang 等[11]利用Ag/HfO2/C RRAM 陣列成功模擬了給光/撤光反應機制(圖13(a),(b)),實現(xiàn)了目標運動方向的高效檢測.如圖13(c)所示,Ag/HfO2/C RRAM 的STP 特性使人工神經(jīng)節(jié)細胞可以捕獲輸入信號的時空特性,從給光區(qū)運動到撤光區(qū)(A 到B)和從撤光區(qū)運動到給光區(qū)(B 到A)時輸出電流脈沖的方向相反,以此判斷運動方向[11].圖13(d)示意了包含基于4 個人工神經(jīng)節(jié)細胞的RRAM 陣列,其可實現(xiàn)全方位方向檢測.對這一檢測結(jié)果的進一步識別可以由ANN 完成,當方向精度為15°時,ANN識別準確率達到83.92%[11].

圖13 基于Ag/HfO2/C RRAM 人工神經(jīng)節(jié)細胞實現(xiàn)的運動檢測[11] (a) 具有給光/撤光反應機制的生物視網(wǎng)膜系統(tǒng)結(jié)構(gòu);(b) 人工神經(jīng)節(jié)細胞結(jié)構(gòu);(c) 人工神經(jīng)節(jié)細胞工作原理;(d) 包含4 個人工神經(jīng)節(jié)細胞的RRAM 陣列Fig.13.Artificial ganglion cell based on Ag/HfO2/C RRAM for motion detection[11]:(a) Structure of biological retinal system with both excitation and inhibition response to optical input;(b) structure of artificial ganglion cells;(c) working principle of artificial ganglion cells;(d) RRAM array realized with four artificial ganglion cells.

除此之外,受蝗蟲小葉巨型運動檢測神經(jīng)元(lobula giant movement detector,LGMD)啟發(fā),Jayachandran 等[104]設計了一個基于RRAM 和光感受器堆疊的人工LGMD 神經(jīng)元,具有進行碰撞檢測的功能.物體靠近時,這一神經(jīng)元對接收到的興奮(源于物體靠近)和抑制(源于背景)信號做非線性數(shù)學運算.其輸出與時間呈非線性關系,呈現(xiàn)出單個尖峰,這一尖峰即為觸發(fā)逃跑反應的信號.人工LGMD 神經(jīng)元器件電導率隨光脈沖增加,隨背柵電信號降低,以及輸出電流隨時間的變化,分別與LGMD 神經(jīng)元的興奮,抑制和信號輸出過程相似(見文獻[104] Fig.1(c)—(i)).因此,該器件可以模擬LGMD 的碰撞檢測行為.人工LGMD 神經(jīng)元不僅能對具有不同速度的接近物體進行碰撞檢測,還可通過調(diào)整背柵電壓來調(diào)整器件對高速/低速物體檢測的精度.

為了進一步縮減人工LGMD 神經(jīng)元的面積開銷,Wang 等[105]利用如圖14(a)所示的Ag/FLBPCsPbBr3/ITO ORRAM 模擬了生物LGMD 細胞輸出脈沖頻率隨時間的非線性行為(圖14(b)).連續(xù)施加的光脈沖可用于模擬物體的靠近,物體距離較遠時,光照產(chǎn)生焦耳熱效應導致器件溫度升高,合理的溫度促進Ag 導電絲的形成,電導率增加;物體距離過近時,過高的溫度使導電絲熔解斷裂,電導率降低,形成尖峰(圖14(c))[105].該柔性器件組成的類眼球形陣列(圖14(d))比起單個器件具有更大的接受角,且可以分辨接近物體的方向和速度.Ag/FLBP-CsPbBr3/ITO 器件也可以與電容組合形成人工RC LIF LGMD 神經(jīng)元.這一人工神經(jīng)元隨后被成功地應用于小車避障任務中.

圖14 基于Ag/FLBP-CsPbBr3/ITO ORRAM 類眼球形陣列實現(xiàn)的運動檢測[105] (a) 單個器件的結(jié)構(gòu);(b) 生物LGMD 細胞輸出脈沖頻率對接近物體的非線性反應;(c) 基于Ag/FLBP-CsPbBr3/ITO ORRAM 實現(xiàn)的人工LGMD 神經(jīng)元對生物LGMD 神經(jīng)元非線性響應特性的模仿;(d) 柔性Ag/FLBP-CsPbBr3/ITO ORRAM 構(gòu)建的類眼球形陣列Fig.14.Ag/FLBP-CsPbBr3/ITO ORRAM array based biometric compound eye for motion detection[105]:(a) Structure of single device;(b) nonlinear response to approaching objects regarding output spike frequency of biological LGMD cell;(c) emulation of the nonlinear response properties in biological LGMD neuron by artificial LGMD neuron based on Ag/FLBP-CsPbBr3/ITO ORRAM;(d) flexible Ag/FLBP-CsPbBr3/ITO ORRAM array as biometric compound eye.

4.3 圖像增強

圖像銳化和圖像平滑均可用于增強圖像質(zhì)量.圖像銳化強調(diào)對比度的增強,而圖像平滑強調(diào)噪聲的衰減[106].平均值濾波器、高斯濾波器、圓形均值濾波器、拉普拉斯濾波器等平滑濾波器與圖像的卷積可以實現(xiàn)圖像平滑.RRAM 或ORRAM 組成的陣列常用于加速此卷積運算.例如,Li 等[95]設計的基于Ta/HfO2/Pd RRAM 的1T1R 陣列可實現(xiàn).為進一步提高運算效率,Wang 等[107]設計了基于WSe2/BN/Al2O3ORRAM 的傳感器陣列,利用此ORR AM 阻態(tài)由背柵電壓和光照共同決定的特性,拉普拉斯濾波器權(quán)重和輸入圖片像素值分別被映射到背柵電壓和光照強度上,以此完成卷積運算.感存算一體的特性使這一陣列具有高效率和低電路復雜度的優(yōu)點.

RRAM 和ORRAM 的本征非線性阻變特性常被用于圖像銳化.基于ITO/MoOx/Pd ORRAM,Zhou 等[78]構(gòu)建了8× 8 ORRAM 陣列(圖15(a)),并證明了該陣列具有圖像銳化能力.圖15(b)展示了ITO/MoOx/Pd ORRAM陣列的非線性阻變特性.陣列輸出電流與輸入光脈沖強度不呈線性關系,且器件衰減時間的非線性進一步擴大了輸出電流之間的差值[78].以該陣列實現(xiàn)的圖片銳化處理,可以提高后續(xù)神經(jīng)網(wǎng)絡的識別準確率和識別速率(圖15(c))[78].

圖15 基于ITO/MoOx/Pd ORRAM 陣列實現(xiàn)的圖像銳化[78] (a) 8× 8 ITO/MoOx/Pd ORRAM 陣列;(b) ORRAM 陣列的非線性阻變特性;(c) 基于ORRAM 圖像銳化陣列和圖像識別神經(jīng)網(wǎng)絡的人工視覺系統(tǒng)Fig.15.ITO/MoOx/Pd ORRAM array for image sharpening[78]:(a) 8× 8 ITO/MoOx/Pd ORRAM array;(b) nonlinear resistance switching characteristics of the ORRAM array;(c) an artificial vision system based on ORRAM image sharpening array and image recognition neural network.

Yang 等[108]設計的自供電光電突觸具有相似的本征非線性阻變特性,由SiNx/n-Si/p-Si/Al 太陽能電池光探測器和ITO/CsPbBr2I/P3HT/Ag RRAM 人工突觸組成.光電突觸陣列對輸入強度和輸入波長均具有非線性輸出和非線性衰減特性,因此可用于彩色圖像的圖像增強.彩色手寫圖片數(shù)據(jù)庫經(jīng)過圖像增強處理后,神經(jīng)網(wǎng)絡識別準確率上升了5.31%,識別速率上升了85.71%.用于復雜的MNIST 數(shù)據(jù)庫時,圖像增強的作用更加顯著,神經(jīng)網(wǎng)絡準確率從77.31%上升至85.45%.

基于Ni/NiO/Ni RRAM 陣列的兩步非線性圖像銳化算法可達到與傳統(tǒng)銳化算法相似的性能[109].無控制信號條件下,憶阻器的本征非線性只能增加輸入信號中間亮度范圍內(nèi)的對比度,而添加了控制信號的的兩步非線性可以拓展圖片全亮度范圍內(nèi)的對比度,包括過亮/過暗部分.運算過程中,灰化的原始圖片每4 個像素最暗像素作為控制信號輸入RRAM 陣列,再將原始圖片像素值作為輸入信號輸入同一陣列,陣列輸出電流即為銳化后的圖片像素值.與傳統(tǒng)銳化算法相比(21624 kB,0.542 s),具有相似性能的Ni/NiO/Ni RRAM 陣列能耗更低,速度更快(6816 kB,0.047 s).

擴散型RRAM 的STP 和閾值阻態(tài)變換特性使其具有本征閾值開關特性,可以實現(xiàn)用于圖像平滑的均值濾波器[110].陣列大小與輸入圖片像素數(shù)相同,其中每種擴散型RRAM 的LRS 閾值都被設置為對應像素周圍8 個像素的平均值.此外,為緩解因均值濾波器濾除原圖邊緣造成的圖像質(zhì)量下降問題,另一擴散型RRAM 陣列被用于邊緣增強.以擴散型RRAM 陣列均值濾波器、擴散型RRAM 陣列邊緣增強濾波器與漂移型RRAM陣列組成的預處理-ANN 網(wǎng)絡,在受白噪聲影響的MNIST 數(shù)據(jù)庫識別任務中準確率可達91.55%.

4.4 圖像識別

在不同類型的ANN 中,CNN 常被認為在圖像識別任務上具有更好的表現(xiàn)[111].它能通過卷積捕捉相鄰像素之間的關系,同時減少網(wǎng)絡中的數(shù)據(jù)量,因此有利于處理高維圖像信息,在一些復雜的圖像識別任務中,能以更低的功耗取得比全連接ANN更好的表現(xiàn).

RRAM 組成的陣列可用于加速CNN 中大量的卷積運算.Yao 等[112]用基于TiN/TaOx/HfOx/TiN RRAM 陣列的硬件系統(tǒng)實現(xiàn)了5 層結(jié)構(gòu)的CNN,支持卷積核間并行卷積運算.所用的離線和在線訓練相結(jié)合的訓練方式使實現(xiàn)的CNN 對于器件本身產(chǎn)生的噪聲的容忍能力更強,在手寫數(shù)字識別任務(MNIST 數(shù)據(jù)庫)上的準確率從93.86%(僅離線訓練)上升至95.83%(離線和在線相結(jié)合).這一硬件系統(tǒng)消耗的能量僅為實現(xiàn)同樣CNN 的Tesla V100 GPU 的1/110.以該硬件系統(tǒng)實現(xiàn)的更大規(guī)模的CNN (ResNET-56)可用于更復雜的圖像識別任務(CIFAR10 數(shù)據(jù)庫)中,準確率為95.57%,僅比理想情況低1.49%.

Lin 等[96]設計的具有像素級并行操作能力的三維HfO2RRAM 陣列不僅支持多個卷積核之間的并行運算,且支持每個卷積核與整個圖像卷積的并行運算.卷積核的每行權(quán)重被映射到一組以樓梯形電極連接的RRAM 上.因此,相同像素和卷積核不同行權(quán)重之間的多次乘加操作可以通過支持三維疊加的樓梯形RRAM 連接結(jié)構(gòu)并行完成.三維RRAM 陣列的運行速度遠快于TPU(V1)和GPU(RTX 6000).以此陣列實現(xiàn)的四層CNN 在手寫識別任務上可達到與理想情況幾乎一致的準確率(理想98.11%/三維陣列98.10%).

Wang 等[107]基于WSe2/BN/Al2O3ORRAM的感存算一體傳感器陣列實現(xiàn)了圖像識別CNN.3 個ORRAM 陣列組成了具有3 個卷積核的單層CNN.CNN 的3 個輸出分別對應輸入圖片為字母n,j,u 的可能性.實現(xiàn)的CNN 在10 輪訓練后可達到100%的準確率.

SNN 可直接處理來自基于事件的視覺傳感器的脈沖輸入,且因其低計算復雜度而具有低延遲和低功耗的優(yōu)點[113],因此也被用于圖像識別任務中.Boybat 等[114]利用多RRAM 并聯(lián)的人工突觸結(jié)構(gòu)緩解了單個GST RRAM 作為人工突觸時的阻態(tài)高度非線性問題,并基于改進的人工突觸構(gòu)建了單層SNN 進行手寫字母識別(MNIST 數(shù)據(jù)庫).當單個人工突觸中并聯(lián)的GST RRAM 數(shù)量達到7 個時,構(gòu)建的SNN 準確率高于77%,與理想情況(77.02%)十分相近.Wang 等[115]利用基于Pt/SiOxNy:Ag/Pt RRAM 的RC LIF 人工神經(jīng)元和基于Pd/HfO2/Ta 氧空位導電絲型RRAM 的人工突觸實現(xiàn)了SNN,并成功利用該SNN 分辨輸入的字母圖片.

為提高SNN 識別的準確率,Li 等[116]用Pt/TaOx/AlOδ/Al RRAM 模仿了生物神經(jīng)元中樹突的噪聲抑制和非線性整合功能.該人工樹突器件只有在輸入信號大于閾值(3 V)后才會開啟,進行整合,因此可以阻止幅值較小的噪聲信號通過,放大圖片信息.人工樹突器件與基于TiN/HfOx/TaOx/TiN RRAM 的人工突觸陣列、基于NbOxRRAM的LIF 人工神經(jīng)元一起實現(xiàn)了生物相似度更高的SNN.RRAM 人工樹突的加入使實現(xiàn)的SNN 在門牌號數(shù)字圖片識別任務上(SVHN 數(shù)據(jù)庫)準確率從80.1%上升到88.5%.

5 結(jié)論

神經(jīng)形態(tài)RRAM 和ORRAM 因其存算一體或感存算一體特性,在圖像預處理和高階處理應用中具有實現(xiàn)低功耗,高集成度人工視覺系統(tǒng)的潛力.然而,這一領域的研究工作仍處于發(fā)展階段,算法和硬件方面仍亟需進一步提升.

在器件層面上,盡管ORRAM 人工突觸被證明在實現(xiàn)高效能人工視覺系統(tǒng)上占有優(yōu)勢,但研究人員對這一類器件的工作機理和塑性調(diào)控機制尚未深入研究,尤其是可實現(xiàn)純光學電阻調(diào)控的ORRAM 限制未來器件性能及面向不同圖像應用的進一步提升.基于有機或二維材料實現(xiàn)的吸收特性及可調(diào)控性不利于未來大規(guī)模集成及高分辨圖像應用.而基于氧化物實現(xiàn)的ORRAM 仍需從器件結(jié)構(gòu)設計和機理上突破.進一步提升ORRAM 的集成度、改善光反應的靈敏度以及優(yōu)化ORRAM的結(jié)構(gòu),是改進ORRAM 的3 個重要策略.目前對RRAM 的研究相對更加成熟,已有一些研究匯報了較大規(guī)模陣列的實現(xiàn).然而,RRAM 的非線性度和不穩(wěn)定性使其相比于傳統(tǒng)CMOS 器件實現(xiàn)的人工視覺系統(tǒng)表現(xiàn)較差,不利于需要較高精確度的應用場景.進一步縮小RRAM 性能與需求的差距仍然是未來熱門的研究方向.

在算法層面上,神經(jīng)形態(tài)器件在實現(xiàn)圖像預處理算法方面的潛力尚未充分挖掘.目前大部分應用集中在利用神經(jīng)形態(tài)器件組成的陣列加速傳統(tǒng)預處理算法中的卷積或乘加運算.而考慮到生物視覺系統(tǒng)的高效性,更多模仿生物圖像預處理機制,且可以RRAM 和ORRAM 的阻變特性所模擬的生物圖像預處理算法應當被設計出來,實現(xiàn)軟硬件協(xié)同發(fā)展.

在系統(tǒng)層面上,當前外圍電路設計的缺乏不利于實現(xiàn)信號在系統(tǒng)內(nèi)部的高效調(diào)度和不同模塊之間的分工協(xié)作.更多可應用于實際場景的全硬件RRAM 或ORRAM 人工視覺系統(tǒng)仍待開發(fā).