張 天 淡一航 樊澤洋 陳 奇 來一航 徐興元 徐 坤

（北京郵電大學信息光子學與光通信國家重點實驗室，北京 100876）

1 引言

20 世紀90 年代的海灣戰(zhàn)爭中，大量高科技作戰(zhàn)手段、新型信息化作戰(zhàn)模式的出現(xiàn)正式拉開了現(xiàn)代化戰(zhàn)爭的序幕，全新的作戰(zhàn)理念改變了世界對戰(zhàn)爭樣式的理解，對現(xiàn)代軍事發(fā)展產(chǎn)生了深遠的影響。陸、海、空、天、網(wǎng)電“五維一體”全方位、跨域協(xié)同、信息共享的聯(lián)合作戰(zhàn)樣式成為未來戰(zhàn)爭的重要特點，期待利用綜合一體化技術(shù)，實現(xiàn)雷達、通信、電子戰(zhàn)、導(dǎo)航、敵我識別等多種設(shè)備集中共用射頻資源和數(shù)據(jù)處理資源，克服作戰(zhàn)平臺上疊加電子信息系統(tǒng)導(dǎo)致的質(zhì)量/體積/功耗增加、保障維護困難等問題［1-3］。

面對一體化的聯(lián)合作戰(zhàn)需求，雷達、通信設(shè)備等往往要處理共享的海量戰(zhàn)場信息數(shù)據(jù)，對于計算平臺的計算速度和能效都提出了極大的要求；同時，一體化信號處理包含了一體化波形設(shè)計、聯(lián)合發(fā)射波束成型、聯(lián)合信號接收等方面，其對于矩陣乘法運算具有大量的需求［3］；此外，機器學習方法也廣泛應(yīng)用于綜合一體化技術(shù)中，比如在雷達通信一體化接收機設(shè)計中，在噪聲和干擾同時存在的情況下使用機器學習方法區(qū)分雷達與通信信號［3］。其中，神經(jīng)網(wǎng)絡(luò)是機器學習的重要網(wǎng)絡(luò)構(gòu)型之一。面對一體化技術(shù)對于計算速度、能耗、矩陣乘法運算和神經(jīng)網(wǎng)絡(luò)計算加速等方面急迫的需求，傳統(tǒng)設(shè)備往往利用中央處理器（CPU）等采用馮·諾依曼架構(gòu)的計算單元進行數(shù)據(jù)處理，而這類計算單元都存在存儲和計算單元空間分離的“存儲墻”問題，這將導(dǎo)致存儲單元和計算單元之間產(chǎn)生大量潮汐性數(shù)據(jù)荷載，從而限制計算速率，增加單次計算功耗［4］。雖然當前已有研究者提出非馮·諾依曼的計算架構(gòu)來克服“存儲墻”問題，如類腦計算［5］，典型代表包括曼徹斯特大學的SpiNNaker 芯片［6］、IBM 的TrueNorth芯片［7］、斯坦福大學的Neurogrid 芯片［8］以及清華大學的天機芯片［9］等，然而這類電子神經(jīng)擬態(tài)計算受限于集成電路的帶寬、功耗、時延等，計算速度和能效比的提升仍然受到很大限制。

為了解決電子計算芯片算力和功耗的瓶頸問題，光學處理機制被引入計算領(lǐng)域。光子高速、大帶寬、低串擾等特性非常適合海量信息的超快處理，通過構(gòu)建矩陣乘法運算、卷積運算、非線性運算等基本運算單元，目前已被應(yīng)用于矩陣加速、全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)、儲備池計算（Reser?voir Computing，RC）、Ising 機等多種計算構(gòu)型，在數(shù)據(jù)分類、圖像分類、圖像重建、優(yōu)化問題等多方面嶄露頭角。但是由于光子具有不易存儲和調(diào)控的特點，實現(xiàn)通用全光子計算仍然很遙遠。邏輯操作、系統(tǒng)控制和存儲等更適合用電子手段實現(xiàn)，在未來十年甚至更長時間，一體化系統(tǒng)中仍將光電混合的計算架構(gòu)為主，通過引入光的固有特性，如低延遲、低損耗、超寬頻帶、多維復(fù)用、波動特性等，與電子計算的靈活性結(jié)合起來［10］，設(shè)計軟硬件深度結(jié)合的光電融合計算（Optoelectronic Computing，OEC）系統(tǒng)，將在綜合一體化領(lǐng)域大放異彩，突破傳統(tǒng)微電子處理器的局限性，實現(xiàn)作戰(zhàn)平臺更快的響應(yīng)速度和更高的能效。

目前，光電融合計算主要包括四大類典型計算平臺：片上集成相干平臺、片上集成非相干平臺、基于光纖系統(tǒng)的光電融合計算和空間光學衍射平臺，同時朝著計算大規(guī)?；?、非線性光學計算實現(xiàn)、光電高效融合三個典型方向發(fā)展。本文旨在闡述光電融合計算的研究現(xiàn)狀，展望光電融合計算的發(fā)展趨勢。

2 光電融合計算的研究現(xiàn)狀

2.1 片上集成相干平臺

光子集成回路（Photonic Integrated Circuits，PICs）具有器件尺寸小、傳輸損耗低、系統(tǒng)性能穩(wěn)定、可與CMOS 兼容的特點，是實現(xiàn)大規(guī)模OEC 應(yīng)用的理想平臺之一?；赑ICs 實現(xiàn)OEC 主要有兩種技術(shù)路徑，一種是基于干涉的相干技術(shù)，另一種是基于波分復(fù)用的非相干技術(shù)。目前，利用相干技術(shù)的PICs 已被用于實現(xiàn)計算和信號處理等多種功能，例如全光的矩陣乘法［11］、快速傅里葉變換［12］、卷積運算［13］、Multiple-Input-Multiple-Output（MIMO）［14］、濾波［15］、邏輯運算［16］等。其中，由于矩陣乘法、卷積運算在人工智能中廣泛應(yīng)用，所構(gòu)建的光學神經(jīng)網(wǎng)絡(luò)（Optical Neural Network，ONN）是OEC 最重要的應(yīng)用之一，本節(jié)重點介紹這兩種計算功能的發(fā)展情況。

1994 年，Reck 等［17］提出一種三角分解算法，可利用分束器、移相器陣列實現(xiàn)任意N階酉矩陣，并且可通過調(diào)整移相器進行任意的重構(gòu)。2016 年，Ri?beiro 等［18］基于該分解算法在PICs 中利用馬赫曾德爾干涉回路（Mach Zehnder Interferometer，MZI）構(gòu)建的網(wǎng)絡(luò)實現(xiàn)了4×4 酉矩陣的映射。同年，Clements等［19］對三角分解算法進行優(yōu)化，提出了矩形分解方案，該方案具有對稱的光學路徑，光學深度更淺，損耗更低且魯棒性更強。Reck 和Clements 的這兩種MZI網(wǎng)絡(luò)結(jié)構(gòu)也被稱作GridNet。2017年，Shen等［11］將奇異值分解原理和Reck的三角分解算法結(jié)合，研制了首款用于神經(jīng)網(wǎng)絡(luò)計算的基于光學干涉單元（Optical Interference Unit，OIU）的集成芯片，通過兩層OIU芯片級聯(lián)可實現(xiàn)單個實矩陣乘法運算。如圖1（a）所示，該OIU 芯片分別具有4 個輸入和輸出端口，通過4層OIU和2層非線性激活級聯(lián)的方式實現(xiàn)了一個兩層的ONNs，該ONNs 可實現(xiàn)四種元音的分類，實驗準確率達76.7%。2018 年，Bagherian 等［13］提出利用延時線對該OIU 芯片進行時分復(fù)用，分段地對圖像進行卷積，從而構(gòu)建了光學CNN 結(jié)構(gòu)。2019 年，F(xiàn)ang 等［12］提出了一種誤差容忍性更強的MZI 網(wǎng)絡(luò)結(jié)構(gòu)—FFTNet，如圖1（b）所示。雖然FFT?Net不具備如GridNet完備的酉矩陣表達能力，但FF?TNet可以方便的實現(xiàn)快速傅里葉（Fast Fourier Trans?form，F(xiàn)FT）變換和卷積運算，同時FFTNet 網(wǎng)絡(luò)深度更淺，對制造誤差的魯棒性更強。2020 年，Zhou等［14］基于GridNet 結(jié)構(gòu)在PICs 中搭建了一個4×4 的線性光學網(wǎng)絡(luò)，如圖1（c）所示。通過對該網(wǎng)絡(luò)進行優(yōu)化編程，可實現(xiàn)多通道光開關(guān)、MIMO 解碼和可調(diào)光學濾波多種功能。Saygin等［20］在同年提出一種可編程通用酉矩陣的高魯棒架構(gòu)，如圖1（d）所示，通過級聯(lián)多個模式混合層和移相器層，并對移相器層進行編程實現(xiàn)任意酉矩陣的映射。該架構(gòu)避免了Grid?Net中分束器的完美分光比要求，在存在制造誤差的缺陷下仍能高保真地表達高階酉矩陣。Roques-Carmes等［21］利用基于GridNet的矩陣乘法網(wǎng)絡(luò)，并結(jié)合循環(huán)采樣算法實現(xiàn)了Ising問題的求解，為集成光子Ising 機的實現(xiàn)提供了一種解決方案。2021 年，Zhang等［22］利用GridNet以及MZI可進行相位檢測的特點，充分利用了酉矩陣的復(fù)值表達能力，實現(xiàn)了任意的復(fù)值矩陣乘法運算。Zhang 等提出的復(fù)值神經(jīng)網(wǎng)絡(luò)在Iris、Circle和Spiral等非線性數(shù)據(jù)集的分類中都表現(xiàn)出更好的性能。同年，Tian 等［23］提出了一種新型MZI網(wǎng)絡(luò)結(jié)構(gòu)，如圖1（e）所示，通過將實值矩陣信息全部加載至單個酉矩陣的實部，可將表達實值矩陣的網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度從UΣV?降低為U。2022 年，Zhu 等［24］提出了一種基于片上集成衍射單元的ONN，如圖1（f）所示，其中星型耦合器作為衍射單元來實現(xiàn)多路光信號的模式混合，完成離散傅里葉變換和離散傅里葉反變換，配合移相器層調(diào)制，該衍射ONN可以實現(xiàn)數(shù)據(jù)分類和圖像識別功能。相比于GridNet，星型耦合器的使用將系統(tǒng)規(guī)模從O（k2）減少至O（k），其中k代表端口數(shù)。此外，基于表面等離激元的集成光子器件也可以通過特殊設(shè)計實現(xiàn)多種光學計算和信號處理功能。本團隊通過對表面等離子體波導(dǎo)系統(tǒng)中的可編碼超材料進行逆向設(shè)計，實現(xiàn)了可調(diào)諧濾波、類電磁誘導(dǎo)透明效應(yīng)［15］和全光邏輯運算［16］，如圖1（g）所示，相比于硅基集成平臺，表面等離激元器件的尺寸可以更小，集成度更高。

圖1 7種典型光學計算和信號處理的相干片上集成方案Fig.1 Seven typical coherent on-chip integration schemes for optical computing and signal processing

2.2 片上集成非相干平臺

上節(jié)所述的方案均工作在同一個工作波長，屬于相干系統(tǒng)，信號通過改變載波的幅度來加載到系統(tǒng)中。除了這種幅度調(diào)制的方式外，信號還可以通過波長、模式、偏振態(tài)進行調(diào)制，即波分復(fù)用技術(shù)、模分復(fù)用技術(shù)和偏振復(fù)用技術(shù)，這些復(fù)用技術(shù)可以極大增加信號處理系統(tǒng)的傳輸容量。該類復(fù)用技術(shù)也為光學計算提供了一個新思路，目前已有很多工作將波分復(fù)用技術(shù)應(yīng)用于光電融合計算中，可以進一步提升算力。

2014年，Prucnal等［25］提出了一種名為廣播加權(quán)（Broadcast-and-Weight，BAW）的方法，為利用集成光子器件實現(xiàn)神經(jīng)擬態(tài)計算（Neuromorphic Comput?ing，NMC）建立了一種技術(shù)途徑。NMC 又叫做類腦計算或脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network，SNN）計算，是借鑒腦神經(jīng)網(wǎng)絡(luò)的新一代計算架構(gòu)，基本單元是模擬真實生物神經(jīng)元的脈沖神經(jīng)元，NMC 采用存儲計算一體化的架構(gòu)，將高維信息放在多層、多粒度、高可塑性的復(fù)雜網(wǎng)絡(luò)空間中進行處理。它具有低功耗、高魯棒性、高效并行、自適應(yīng)等特點，既適用于處理復(fù)雜環(huán)境下非結(jié)構(gòu)化信息，又有利于發(fā)展自主學習機制［26］。Prucnal 等［27］基于BAW 方法構(gòu)建了一種神經(jīng)擬態(tài)光子網(wǎng)絡(luò)，并驗證其可以實現(xiàn)振蕩動力學的模擬和微分方程求解，其結(jié)構(gòu)如圖2（a）所示，神經(jīng)元是具有應(yīng)激性動力學的激光器，其輸出是特定波長的光信號，這個信號和其他神經(jīng)元的信號經(jīng)過波分復(fù)用廣播到整個網(wǎng)絡(luò)，所有輸入信號經(jīng)過一個微環(huán)諧振腔（Microring Resonators，MRR）權(quán)重庫進行加權(quán)，加權(quán)后的光信號無需進行解復(fù)用，其總功率被直接檢測。除了實現(xiàn)NMC，MRR也是實現(xiàn)光學卷積運算的常用器件。2020 年，Bangari 等［28］基于MRR與BAW 方法設(shè)計了適用于卷積運算的OEC架構(gòu)，通過擴展多個并行的權(quán)重庫，一次可執(zhí)行多個卷積運算，如圖2（b）所示，該架構(gòu)執(zhí)行卷積運算的速度比一般GPU快2.8到14倍，功耗降低約25%，并可進行大規(guī)模擴展。同年，Mehrabian等［29］設(shè)計了一種基于Winograd 濾波算法的CNN 光子加速器架構(gòu)，如圖2（c）所示，相比于Bangari等提出的架構(gòu)，Winograd算法可以將傳統(tǒng)卷積乘法數(shù)從（m×r）2降低為（m+r?1）2，其中m是輸出特征映射通道的大小，r是濾波器的大小，該算法提高了卷積運算效率，降低了系統(tǒng)復(fù)雜度，減少了總體的器件數(shù)（指核心的MRRs和調(diào)制器）。經(jīng)測試，該光子加速器在速度和功耗方面能與先進的電子平臺相當。

圖2 5種典型的非相干NMC和卷積計算方案Fig.2 Five typical incoherent NMC and convolution schemes

相變材料（Phase-Change Materials，PCM）是另一種實現(xiàn)OEC 非常有前景的手段，PCM 的相變特性可以提供神經(jīng)元的整合發(fā)放功能以及突觸可塑的加權(quán)功能。Feldmann 等［30］基于PCM 和MRR 實現(xiàn)了一種全光突觸的、可集成和可擴展的NMC框架。如圖2（d）所示，全光突觸使用內(nèi)嵌PCM 的波導(dǎo)實現(xiàn)，PCM 在非晶態(tài)和晶體態(tài)對光的吸收有很大差異，通過調(diào)節(jié)PCM 的狀態(tài)可對波導(dǎo)中傳輸?shù)墓膺M行衰減加權(quán)。突觸傳遞的光信號經(jīng)MRR 波分復(fù)用進入到由PCM 和環(huán)形腔組成的集成光神經(jīng)元中，PCM 可改變環(huán)形腔的共振條件及其傳播損耗來實現(xiàn)非線性激活。兩年后，F(xiàn)eldmann等［31］又利用PCM陣列構(gòu)建了可執(zhí)行高并行度卷積運算的集成光子張量核心，得益于集成光頻梳提供密集的波長通道，該張量核可每秒進行超1012次MAC（Multiply-Accumulate）操作。如圖2（e）所示，片上激光器和氮化硅微腔產(chǎn)生頻梳，經(jīng)波分復(fù)用分成4組通道，每組通道對光信號調(diào)制后傳入片上MAC 計算單元，4 列耦合PCM 的波導(dǎo)并行對光信號進行加權(quán)求和，最后解復(fù)用探測后得到4組并行卷積運算結(jié)果。

2.3 基于光纖系統(tǒng)的光電融合計算

由于有源器件和無源器件集成在一塊芯片上的難度大，因此也有許多基于光纖和光電子器件的OEC 方案。雖然集成度不如片上集成方案，但計算能力和性能也可與先進電子計算硬件相當。

RC是一種適用于時間序列處理的計算框架［32］，屬于循環(huán)神經(jīng)網(wǎng)絡(luò)的一種。RC 系統(tǒng)將輸入映射到高維狀態(tài)空間并對高維狀態(tài)空間中的數(shù)據(jù)進行線性組合，從而得到目標輸出。儲備池的輸入權(quán)重和隱藏層權(quán)重都是固定的，只有輸出權(quán)重需要進行訓練。與其他的循環(huán)神經(jīng)網(wǎng)絡(luò)相比，RC的優(yōu)勢是學習速度快，訓練成本低。光子RC 的實現(xiàn)主要有兩種方案，第一種是利用大量的物理節(jié)點充當儲備池中的節(jié)點；第二種是用單個非線性節(jié)點加延遲反饋環(huán)的方式實現(xiàn)儲備池。2011 年，Vandoorne 等［33］利用半導(dǎo)體光放大器（Semiconductor Optical Amplifier，SOA）搭建了一個81節(jié)點的旋流拓撲結(jié)構(gòu)的光儲備池，對帶有噪聲的孤立數(shù)字識別的平均誤差率為4.5%。2012 年，Paquot 等［34］利用延遲反饋原理在光電混合系統(tǒng)中搭建了儲備池，如圖3（a）所示，輸入信號通過強度調(diào)制器加載到光上，儲備池的非線性由電壓驅(qū)動的調(diào)制器提供，通過對輸出權(quán)重進行訓練，系統(tǒng)可以實現(xiàn)方波與正弦波的識別。同年，Duport 等［35］也利用延遲線反饋和SOA 搭建了一個全光的儲備池，如圖3（b）所示，儲備池所需要的非線性由SOA 提供，該方案的優(yōu)勢在于非線性的處理在光域進行，避免了光電轉(zhuǎn)換，可以進一步提高處理速度。近些年，還出現(xiàn)了利用半導(dǎo)體吸收鏡［36］、相干光驅(qū)動的無源腔［37］作為非線性器件的全光儲備池。2021 年，Borghi 等［38］提出了基于硅MRR 和時間復(fù)用的儲備池系統(tǒng)，如圖3（c）所示。MRR的使用突破了延遲環(huán)路中分束器、合并器和互聯(lián)損失造成的節(jié)點數(shù)量限制，非線性由自由載流子的動力學提供，MRR 中雙光子吸收和載流子色散效應(yīng)會造成MRR 輸出端強度變化，通過對強度的變化進行采樣記錄，可得到儲備池的內(nèi)部狀態(tài)，再經(jīng)過后續(xù)訓練實現(xiàn)目標任務(wù)。為了進一步提高儲備池的規(guī)模和集成度，使用可集成平臺實現(xiàn)儲備池是未來的發(fā)展方向之一，2021年，Nakajima 等［39］提出了可擴展的相干光子儲備池系統(tǒng)，該系統(tǒng)分為輸入調(diào)制、掩碼處理、儲備池和數(shù)字處理4 個模塊，其中非線性部分由輸入調(diào)制模塊和數(shù)字處理模塊提供，掩碼處理和儲備池模塊均可在硅基平臺集成，輸入調(diào)制芯片和儲備池回路芯片尺寸分別為41×46 mm2和28×47 mm2。

圖3 基于光纖器件的光子儲備池、Ising機、卷積加速器、脈沖神經(jīng)元方案Fig.3 Optical reservoir computing，Ising machine，convolutional accelerator and spiking neuron based on optical fiber devices

2016 年，McMahon 等［40］基于光參量振蕩和單光纖腔實現(xiàn)了光子Ising 機，如圖3（d）所示，F(xiàn)PGA 對光纖腔中的脈沖信號進行測量與循環(huán)反饋實現(xiàn)自旋間相互作用信息的加載，通過緩慢注入泵浦光，非線性晶體在光纖諧振腔中對脈沖信號實現(xiàn)光參量振蕩，使得滿足相位匹配條件的信號得到放大，系統(tǒng)將一定概率收斂到Ising基態(tài)，該方案有望解決超大規(guī)模Ising 問題。2021 年，Xu 等［41］提出了基于波長時間交織的光子卷積加速器（Photonic Convolu?tional Accelerator，PCA），并用其構(gòu)建了可進行圖像識別的光學卷積神經(jīng)網(wǎng)絡(luò)。如圖3（e）所示，通過MRR 的光參量振蕩產(chǎn)生頻梳，卷積核權(quán)重被編碼在頻梳功率上，輸入向量經(jīng)過電光調(diào)制器調(diào)制（加權(quán)）在所有波長通道，經(jīng)過單模光纖的等間隔色散延時后，加權(quán)信號也在時域上等間隔錯位，經(jīng)過解復(fù)用、光電探測功率求和后，剛好得到輸入信號與卷積核的卷積運算結(jié)果。該方案充分利用了波長和時間兩個維度，計算算力被極大提升。

如上節(jié)所提到的，SNN 作為一種計算能力、信息處理能力更強的新網(wǎng)絡(luò)結(jié)構(gòu)也是近年的研究熱點。SNN 的基本單元（脈沖神經(jīng)元）不會在每次輸入信號后都被激活，其激活水平取決于與其相連的神經(jīng)元的脈沖到達時間、強度，故具有更強的空間信息處理能力。因此，脈沖神經(jīng)元及其光子實現(xiàn)也是重要的研究方向之一。Rosenbluth 等［42］基于光纖實現(xiàn)了光學LIF（Leaky-Integrate-and-Fire，LIF）脈沖神經(jīng)元，如圖3（f）所示。神經(jīng)元輸入首先通過衰減器進行加權(quán)，然后被延時線附加延時，再通過SOA進行輸入整合，最后在Ge摻雜光纖的閾值作用下進行激活。2016 年，Shastri 等［43］在基于石墨烯的環(huán)形腔中實現(xiàn)了光學LIF神經(jīng)元的脈沖處理特性，如圖3（g）所示。該LIF 神經(jīng)元的脈沖處理特性來自于環(huán)形腔中可飽和吸收體（石墨烯）與增益介質(zhì)（摻鉺光纖）相互耦合的非線性動力學，實驗證明了該光子脈沖神經(jīng)元具有LIF神經(jīng)元一樣的應(yīng)激、不應(yīng)期等特性。此后，Peng 等［44］提出了基于分布式反饋激光器結(jié)構(gòu)的可集成光子脈沖神經(jīng)元。

2.4 空間光學衍射平臺

2.1～2.2 節(jié)介紹了利用光波導(dǎo)及其相關(guān)器件作為傳輸和處理信號的OEC 方案，該種方案具有穩(wěn)定性強、可集成度高等優(yōu)勢，但也有一些挑戰(zhàn)。例如，受當前工藝水平的限制，非線性功能難以在芯片大規(guī)模集成，矩陣計算規(guī)模也難以進一步擴大。2.3節(jié)介紹了利用光纖系統(tǒng)實現(xiàn)OEC 的方案，雖然能夠更容易的實現(xiàn)OEC 中的各種功能元件，比如不同函數(shù)的非線性運算，但是光子的衍射特性被波導(dǎo)所限制，計算速度難以進一步提升。而在自由空間中，兩平面間的衍射可以看成是一種連接關(guān)系，密度極高，因此利用空間光的衍射搭建的計算系統(tǒng)為實現(xiàn)高速計算提供了另外一種可能途徑。

2018年，Lin 等［45］提出“衍射深度神經(jīng)網(wǎng)絡(luò)（Dif?fractive Deep Neural Network，D2NN）”全光機器學習框架，如圖4（a）所示，D2NN 通過使用多個衍射層構(gòu)建，層上的每個點代表一個神經(jīng)元，通過光學衍射連接到下層的其他神經(jīng)元，每個點的局部透射或反射系數(shù)代表了神經(jīng)元間的連接權(quán)重。這種D2NN 設(shè)計，一旦使用例如3D 打印、光刻等進行物理制造，就可以在無源的條件下進行光速推演，是一種高效快速地執(zhí)行機器學習任務(wù)的方法。次年，Yan 等［46］對D2NN 框架進行了優(yōu)化，如圖4（b）所示，通過將衍射調(diào)制層放在了光學系統(tǒng)中的傅里葉平面上，提出了傅里葉空間衍射深度神經(jīng)網(wǎng)絡(luò)（F-D2NN），與真實空間D2NN 相比，F(xiàn)-D2NN 框架通過結(jié)合雙2f光學系統(tǒng)更自然地保持了空間對應(yīng)性，這有助于完成那些需要圖像到圖像映射的任務(wù)。2021年，Zhou等［47］提出可重構(gòu)的衍射處理單元（Diffractive Processing Unit，DPU）實現(xiàn)大規(guī)模的神經(jīng)擬態(tài)OEC，該DPU 可支持實現(xiàn)不同類型的神經(jīng)網(wǎng)絡(luò)，構(gòu)建百萬級神經(jīng)元規(guī)模的復(fù)雜網(wǎng)絡(luò)。此外，Chang 等［48］提出一種基于“4f”系統(tǒng)的混合光電卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。其光學卷積層具有一個可優(yōu)化的相位掩模，該相位掩模利用線性的、空間不變的成像系統(tǒng)執(zhí)行固有卷積?！?f”系統(tǒng)結(jié)構(gòu)如圖4（c）所示，由兩個凸透鏡組成，每個凸透鏡的焦距為f，完成兩個傅里葉變換的級聯(lián)。卷積核被編碼在傅里葉平面上的相位掩膜板，在傅里葉空間與輸入圖像進行卷積。2019 年，Zuo 等［49］提出一種全光神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中線性運算由空間光調(diào)制器（Spatial Light Modulator，SLM）和“4f”透鏡系統(tǒng)實現(xiàn)。如圖4（d）所示，SLM1將入射光束按神經(jīng)元數(shù)量進行分離并將輸入信號編碼在光功率上，輸入光在透鏡3 的后焦面上被SLM1 調(diào)制加權(quán)，然后在透鏡4的傅里葉平面進行求和完成線性運算，最后再通過激光冷凍Rb原子實現(xiàn)非線性激活，由于使用了全光非線性，計算速度不再受光電轉(zhuǎn)換速率限制。

圖4 基于空間衍射的光電融合計算Fig.4 Optoelectronic computing based on spatial diffraction

3 光電融合計算的發(fā)展趨勢

光電融合計算（OEC）相比于傳統(tǒng)電子計算，具有計算速度快、帶寬大、功耗低、時延小等優(yōu)勢，在未來替代傳統(tǒng)電子計算芯片進行海量數(shù)據(jù)實時處理具有很大的潛力。然而，受限于光電子器件的性能，集成工藝的制造水平以及光子不易存儲、不易于控制、非線性難實現(xiàn)等特點，OEC 仍然存在著難以大規(guī)模擴展、不同非線性函數(shù)光電實現(xiàn)困難、融合架構(gòu)效率有待進一步提升等問題。

3.1 計算大規(guī)?；?/h3>

第2章中介紹了多種結(jié)合光電子技術(shù)實現(xiàn)OEC的方案，這些方案技術(shù)路線各不相同，但是都向可集成、可擴展方向發(fā)展。然而，由于光子集成工藝的制造水平和控制的靈活性還不及電子集成電路，單片可集成的光器件數(shù)量和精準控制仍受到極大限制，實現(xiàn)大規(guī)模OEC仍是一大挑戰(zhàn)。

Lin 等［45］提出的D2NN 是一種易于擴展計算規(guī)模的方案。其利用“相位調(diào)制”板作為衍射層時，如圖5（a）所示，板中每個像素塊都相當于神經(jīng)元，通過改變像素塊的厚度可以實現(xiàn)對光的相位、幅度調(diào)制，使得神經(jīng)元間的連接具有可調(diào)的權(quán)重，這種“相位調(diào)制”板使得D2NN 以可擴展且節(jié)能的方式高效地連接數(shù)千萬到數(shù)億個神經(jīng)元和幾千億個連接。Zang等［50］提出了一種基于時域拉伸的串行ONN，其基本結(jié)構(gòu)如圖5（b）所示，通過拉伸時域超短脈沖，可以在光上實現(xiàn)大規(guī)模權(quán)重矩陣和向量的乘法，理論上該方案可以大規(guī)模擴展神經(jīng)元的數(shù)量，其模擬的神經(jīng)網(wǎng)絡(luò)節(jié)點數(shù)取決于展寬光脈沖的寬度和信號發(fā)生器的最大模擬帶寬。2021 年，Ashtiani 等［51］演示了一個完整的端到端光子神經(jīng)網(wǎng)絡(luò)集成芯片用于圖形分類任務(wù)，如圖5（c）所示，線性計算、非線性激活均被集成在同一塊芯片上，其中通過驅(qū)動微環(huán)調(diào)制器獲得了Relu 型非線性激活函數(shù)。經(jīng)測量，整個端到端光子芯片的推演時間約為570 ps，可與最先進的數(shù)字平臺的單時鐘周期相媲美。

圖5 可擴展大規(guī)模光電融合計算的三個方案Fig.5 Three shcemes allowing scalability to large-scale optoelectronic computing

另一方面，由于光子無法像電子一樣存儲和讀取狀態(tài)，對于ONN 和光子NMC，傳統(tǒng)訓練算法難以直接移植，如何實現(xiàn)OEC 高效片上訓練也是未來的重要研究方向之一。Shen等提出的ONN架構(gòu)中，得益于正向傳播的超快速度和低功耗，可通過前向傳播和有限差分法來獲得每個參數(shù)的梯度［11，14］，這避免了訓練傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的反向傳播。Hughes等［52］提出了一種ONN的片上訓練算法，在如圖6（a）所示的MZI構(gòu)型ONN中，通過使用伴隨場和原位場傳播，可以計算出損失函數(shù)關(guān)于移相器介電常數(shù)的梯度。然而該算法需要在實驗上測量器件中的局部場強，操作難度大。本團隊提出了一種基于神經(jīng)進化策略的ONN 訓練算法［53］，如圖6（b）所示，通過將ONN 中對應(yīng)于權(quán)重的物理超參數(shù)表示為待求解，利用遺傳算法或粒子群優(yōu)化算法的迭代優(yōu)化讓ONN的輸出逼近預(yù)期，以達到訓練的目的。因為權(quán)重所對應(yīng)超參數(shù)的更新只依賴于進化策略，而不需要損失函數(shù)關(guān)于權(quán)重的梯度，因此避免了對ONN內(nèi)部狀態(tài)的測量，只需測量ONN的輸出就可以進行參數(shù)的更新。

圖6 梯度測量方法和神經(jīng)進化方法訓練光子神經(jīng)網(wǎng)絡(luò)Fig.6 Training optical neural network by gradient measurement and neuroevolution

3.2 非線性光學計算實現(xiàn)

為實現(xiàn)更高級的計算功能，非線性激活往往是必需的，而光電子器件相比電子器件實現(xiàn)非線性函數(shù)更加困難，并且存在很多非理想特性。因此，實現(xiàn)高效的光學非線性也是促進OEC發(fā)展的重要手段。目前應(yīng)用于OEC中的非線性一般可分為全光非線性和光電混合非線性。全光非線性主要通過具有非線性效應(yīng)的材料或器件實現(xiàn)，例如，Dejonckheere 等［36］利用半導(dǎo)體飽和吸收體鏡的飽和吸收效應(yīng)產(chǎn)生非線性激活函數(shù)，并構(gòu)建了全光的儲備池；Yan 等［46］在F-D2NN中使用光折變晶體的非線性構(gòu)建激活函數(shù)，提升了光子衍射神經(jīng)網(wǎng)絡(luò)的分類準確率和魯棒性；Feldmann等［30］利用PCM不同狀態(tài)對光吸收效率的差異，實現(xiàn)了全光的非線性激活功能，如圖7（a）所示，PCM 狀態(tài)隨輸入光功率在晶態(tài)和非晶態(tài)切換，從而改變環(huán)形諧振腔的共振條件和損耗來獲得具有非線性的傳輸譜。傳輸特性隨輸入光脈沖能量的關(guān)系如圖7（a）右圖所示，開關(guān)的最大對比度為9 dB；Jha等［54］提出基于自由載流子色散（Free-Carrier Dispersion，F(xiàn)CD）效應(yīng)的全光非線性，如圖7（b）所示，MRR 腔觸發(fā)FCD效應(yīng)，表現(xiàn)出對光功率的非線性相位響應(yīng)，非線性相位響應(yīng)通過MZI干涉結(jié)構(gòu)轉(zhuǎn)換為非線性的透射率變化；Zuo 等［49］利用激光冷凍Rb 原子實現(xiàn)了電磁誘導(dǎo)透明非線性激活函數(shù)，如圖7（c）所示，該電磁誘導(dǎo)透明效應(yīng)是通過將激光冷凍Rb原子置于暗線二維磁光阱中獲得的；Mourgias-Alexandris 等［55］基于SOA提出了一種可實現(xiàn)Sigmoid激活功能的全光神經(jīng)元，如圖7（d）所示，該激活函數(shù)由深飽和差分偏置的半導(dǎo)體光放大器馬赫曾德爾干涉儀和SOA交叉增益調(diào)制實現(xiàn)；除此之外，還有利用熱原子飽和吸收［56］、二維MXene材料［57］實現(xiàn)的全光非線性。全光非線性的優(yōu)點是幾乎不損失計算速度或損失極小，但光學非線性所需的能量往往較大，能量開銷高。

圖7 光電融合計算中使用的全光非線性和光電混合非線性Fig.7 All-optical nonlinearity and optoelectronic hybrid nonlinearity in optoelectronic computing

光電混合非線性往往利用光電轉(zhuǎn)換后使用電子器件實現(xiàn)非線性運算，Williamson 等［58］提出了一種光電混合可控的非線性運算模塊，其結(jié)構(gòu)如圖7（e）所示。輸入的光通過定向耦合器分成兩路，一路通過延時線傳遞至MZI 的輸入臂，另一路通過光電二極管轉(zhuǎn)化成電信號，隨后在電域上經(jīng)過相應(yīng)處理后與偏置電壓一起控制MZI 上移相器的相位，最后輸出干涉結(jié)果。通過調(diào)節(jié)移相器可對非線性函數(shù)線型進行重構(gòu)；George 等［59］對基于電吸收調(diào)制器產(chǎn)生的非線性激活進行了建模，并對不同類型電吸收調(diào)制器構(gòu)建的ONN 性能進行了對比；Amin 等［60］利用基于銦錫氧化物的電吸收調(diào)制器實現(xiàn)了光學神經(jīng)元的非線性激活功能，如圖7（f）所示，在基于BAW 方法實現(xiàn)的ONN 中，加權(quán)求和的光信號通過平衡光電探測后轉(zhuǎn)為電信號，并被用以控制電吸收調(diào)制器，實現(xiàn)非線性激活。光電混合非線性優(yōu)勢在于手段靈活、易于控制，但光電轉(zhuǎn)換的過程會損失全光計算的速度優(yōu)勢。為實現(xiàn)大規(guī)模的光電融合計算，不管是全光非線性還是光電混合非線性，未來都應(yīng)向著易于集成、低功耗、可重構(gòu)的方向發(fā)展。

3.3 光電高效融合

由于光子具有易于計算但不易調(diào)控的特點，光子計算主要是完成通用矩陣乘法運算（General Ma?trix Multiplication，GeMM）、卷積運算等特定運算，但是邏輯控制、中間數(shù)據(jù)值存儲及前端數(shù)據(jù)的預(yù)處理等一般采用電子計算完成。如何充分結(jié)合兩者優(yōu)勢，克服光電融合機制匱乏、接口帶寬低和功耗高、系統(tǒng)集成度低、光電延時難以匹配等問題，聯(lián)合光域與電域共同處理信號，實現(xiàn)系統(tǒng)級的高效光電融合計算，也是未來的一個研究重點。

2019 年，Liu 等［61］提出了深度學習納米光子加速器“HolyLight”，通過采用一種高效卷積算法，減少了一般計算所需開銷。在此基礎(chǔ)上設(shè)計了兩種加速器架構(gòu)“HolyLight-M”和“HolyLight-A”，前者將中間計算值在ADC（Analog-to-Digital Converter）轉(zhuǎn)換時進行量化操作，在保證精度沒有太大損失的前提下，降低了計算開銷；后者在前者基礎(chǔ)上，用微碟搭建的光子累加器和移位器取代了ADC 模塊，更進一步地提高了數(shù)據(jù)吞吐量，加快了模型推理效率。

2021 年，Demirkiran 等［62］提出了一種高效率的光電混合計算系統(tǒng)架構(gòu)。其結(jié)構(gòu)如圖8（a）所示，其中光子核心執(zhí)行線性GeMM 運算，專用集成電路執(zhí)行非GeMM 操作。主機CPU 和存儲器DRAM 通過PCI-e 總線與光電加速器（ADEPT）相連，主要負責數(shù)據(jù)的調(diào)度，單獨的SRAM負責存儲網(wǎng)絡(luò)的權(quán)值、輸入和輸出值。SRAM 的數(shù)據(jù)通過DAC（Digital-to-Analog Converter）進行編碼，然后輸入到MZI陣列所搭建的光核中運算，計算完成后，通過ADC 轉(zhuǎn)換到數(shù)字域并寫回SRAM。同時，采用流水線操作，利用權(quán)值緩沖區(qū)作為暫存區(qū)，在執(zhí)行當前GeMM 操作時，將下一次運算所需數(shù)據(jù)從SRAM 預(yù)加載到權(quán)值緩沖區(qū)中，從而可以將權(quán)值快速編程到ADEPT 中，而不會產(chǎn)生大的數(shù)據(jù)傳輸延遲。

同年，Sunny 等［63］提出了基于跨層優(yōu)化的硅光子神經(jīng)網(wǎng)絡(luò)加速器“CrossLight”，在保持高分辨率精度的同時，顯著提升了整體能效。“CrossLight”一方面改進了傳統(tǒng)微環(huán)調(diào)制器設(shè)計，使工藝制造引入的額外諧振漂移量減小，進而降低了后期所需補償?shù)墓?，并利用熱特征分解算法減少了熱光調(diào)諧器數(shù)量。在光計算部分，如圖8（b）所示，按照網(wǎng)絡(luò)結(jié)構(gòu)分為全連接區(qū)域和卷積區(qū)域兩個部分，分別執(zhí)行矩陣乘法和卷積運算，一定程度避免了兩種結(jié)構(gòu)因尺寸、運算方式差別較大造成整體時延增加、吞吐量降低的問題。在16位分辨率下，與當時最先進的光子深度學習加速器相比，“CrossLight”平均每比特能耗降低了9.5倍，每瓦性能提高了15.9倍。

圖8 兩種高效光電融合計算架構(gòu)Fig.8 Two efficient optoelectronic computing architectures

近年來，光電計算的高效融合主要針對上述所提到的架構(gòu)、數(shù)據(jù)流調(diào)度等方面進行優(yōu)化，在系統(tǒng)性能提升方面取得了一定進展，為后續(xù)研究提供指導(dǎo)方向。另一方面，以相變材料等為代表的新型材料，有望研發(fā)出穩(wěn)定可靠的光存儲器以取代電存儲器件，進一步提高光電融合計算的效率。

4 總結(jié)與展望

光電融合計算旨在采用光子低延遲、低損耗、超寬頻帶、多維復(fù)用、波動性等特性實現(xiàn)部分計算的加速外，包括矩陣乘法運算、卷積運算、非線性運算等基本運算，再利用電子手段靈活、易于調(diào)控的優(yōu)勢，克服光子不易控制、不易存儲、非線性實現(xiàn)難的問題，目前已對全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、儲備池計算、Ising 機等多種計算構(gòu)型都能起到高效的加速效果。在信號處理、圖像處理、語音識別、文本識別等眾多人工智能領(lǐng)域都嶄露頭角。同時，光電融合計算也仍然存在不足之處，比如，計算規(guī)模不大、不同非線性函數(shù)難以高效構(gòu)建、光電融合效率有望進一步大幅提高等問題。未來有望突破光電協(xié)同、軟硬結(jié)合的計算新范式，從運算硬件、控制模塊、存儲單元、架構(gòu)、指令集、流水線、軟件編譯、用戶使用等幾個維度循序漸進的開發(fā)出一套可重構(gòu)、用戶友好的計算加速系統(tǒng)，用于解決目前綜合一體化技術(shù)中對于海量數(shù)據(jù)高速處理的急迫需求，為未來戰(zhàn)爭實現(xiàn)陸、海、空、天、網(wǎng)電“五維一體”全方位、跨域協(xié)同、信息共享的聯(lián)合作戰(zhàn)提供重要的支撐。