李錚
數(shù)碼相機通常需要鏡頭將入射光聚焦在圖像傳感器上,雖然技術(shù)不斷改進,允許更緊湊的相機系統(tǒng),但它們?nèi)匀皇艿轿锢淼南拗?。鏡頭只能這么小,鏡頭和傳感器之間的距離這么短。鑒于此,“無鏡頭”相機的概念被設計出來,沒有光學設計的物理限制,無鏡頭相機可以做到小很多。東京工業(yè)大學的山口正弘教授說:“沒有鏡頭的限制,無鏡頭相機可以做到超微型,超出我們想象的應用范疇。”
無鏡頭相機本身的想法并不新鮮,2013年的單像素無鏡頭相機曾經(jīng)曇花一現(xiàn)。無鏡頭相機,包括一個圖像傳感器和傳感器前面用于編碼信息的薄掩模(mask簡稱掩模,是光刻工藝不可缺少的部件。掩模上承載有設計圖形,光線透過它,把設計圖形透射在光刻膠上),在應用場景中,需要數(shù)字計算來產(chǎn)生詳細的圖像。
通過了解光如何與圖像傳感器前面的薄掩模相互作用,算法可以解碼光信息并重建聚焦場景。然而,解碼過程極其復雜。除了需要大量時間之外,生成良好的圖像質(zhì)量還需要完美的機身物理設計。
研究人員還開發(fā)了一種依賴于深度學習的重建方法,使用卷積神經(jīng)網(wǎng)絡 (CNN) 的現(xiàn)有深度學習方法。CNN 根據(jù)相鄰的“局部”像素處理圖像,將光學的信息轉(zhuǎn)換為像素上的重疊“全局”信息傳感器,稱為“多路復用”。
這項新研究依賴于新穎的機器學習算法,稱為Vision Transformer(ViT) ,該算法的新穎之處在于具有重疊“patchify”模塊的多級轉(zhuǎn)換器塊結(jié)構(gòu),能夠有效地學習圖像特征。
顧名思義,無鏡頭相機完全省略了傳統(tǒng)的光學鏡頭。相反,它只包括一個傳感器和一個掩模。相機無法將光聚焦在圖像傳感器上,因此必須使用編碼模式,在掩模和圖像傳感器相互作用下重建圖像
無鏡頭相機,包括一個圖像傳感器和一個2.5毫米的距離傳感器,在二氧化硅板上使用鉻沉積制成的,孔徑為40μm×40μm
如右圖,第一行是用于測試所提出的無鏡頭相機的真實場景。在這一行中,最左邊的兩列是液晶顯示器上顯示的目標,而最右邊的兩列是三維空間中的真實對象。第二行顯示了無鏡頭相機捕捉到的圖案。第三行是這里信息最多的,因為它描述了使用建議的重建技術(shù)的結(jié)果。第四行顯示了使用基于模型的方法的結(jié)果,該方法傳統(tǒng)上用于無鏡頭相機。第五行也是最后一行依賴于卷積神經(jīng)網(wǎng)絡,看起來在全局圖像重建方面還存在局限性。