基于VCSEL神經(jīng)元的超快神經(jīng)形態(tài)光子圖像處理平臺(tái)

  據(jù)麥姆斯咨詢(xún)報(bào)道，近期，英國(guó)思克萊德大學(xué)(University of Strathclyde)開(kāi)發(fā)了一種硬件友好型神經(jīng)形態(tài)光子脈沖處理器，其使用單個(gè)VCSEL，用于全光學(xué)圖像邊緣特征檢測(cè)。這利用了基于VCSEL的光子神經(jīng)元高速集成時(shí)間編碼像素?cái)?shù)據(jù)的能力，并在檢測(cè)到所需圖像特征時(shí)快速發(fā)射(100ps)光學(xué)脈沖。此外，光子系統(tǒng)與軟件控制的脈沖神經(jīng)網(wǎng)絡(luò)相結(jié)合，為復(fù)雜的圖像分類(lèi)任務(wù)提供了一個(gè)完整的平臺(tái)。因此，這項(xiàng)研究突顯了基于VCSEL的新型、超快、全光學(xué)神經(jīng)形態(tài)處理器平臺(tái)的潛力，該處理器與當(dāng)前的計(jì)算和通信系統(tǒng)相連接，可用于未來(lái)的光驅(qū)動(dòng)人工智能(artificial intelligence，AI)和計(jì)算機(jī)視覺(jué)功能領(lǐng)域。

利用脈沖VCSEL神經(jīng)元的圖像處理技術(shù)

  網(wǎng)絡(luò)互聯(lián)設(shè)備的大量使用，直接導(dǎo)致數(shù)據(jù)的可獲得性不斷提高，對(duì)更快、更高效的數(shù)據(jù)處理平臺(tái)的需求不斷增加。電子處理技術(shù)的發(fā)展緩解了其中的部分需求，展示了高計(jì)算吞吐量，并支持AI新系統(tǒng)的開(kāi)發(fā)。然而，由于電子技術(shù)中的基本物理挑戰(zhàn)，基于硅的平臺(tái)的性能提升越來(lái)越有限，串?dāng)_、寄生電容和焦耳熱均會(huì)限制電子系統(tǒng)的速度、帶寬、占位面積和效率，進(jìn)而促使許多研究人員探索未來(lái)數(shù)據(jù)處理系統(tǒng)的替代平臺(tái)。

  一種替代平臺(tái)是基于光子學(xué)的系統(tǒng)，其具有更高的帶寬、高能效、低串?dāng)_和快速運(yùn)行等特點(diǎn)，有助于彌補(bǔ)先進(jìn)電子學(xué)技術(shù)的一些限制。近年來(lái)，對(duì)光子人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)和神經(jīng)形態(tài)系統(tǒng)的研究正在興起。光學(xué)器件，例如量子共振隧穿(quantum resonant tunnelling，QRT)結(jié)構(gòu)、光學(xué)調(diào)制器、相變材料(phase-change materials，PCM)和半導(dǎo)體激光器(semiconductor lasers，SL)等，都已作為新型神經(jīng)形態(tài)光子處理系統(tǒng)的候選對(duì)象進(jìn)行了研究。其中，關(guān)于通過(guò)人工神經(jīng)網(wǎng)絡(luò)和儲(chǔ)備池計(jì)算系統(tǒng)加速光子學(xué)中的信息處理方面的研究已經(jīng)蓬勃發(fā)展。同樣，在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域取得巨大成功的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)也在光子學(xué)平臺(tái)上得到實(shí)施，已提出諸如PCM、微環(huán)諧振器和調(diào)制器等器件來(lái)提高計(jì)算成本高的卷積運(yùn)算的速度和效率。

  與經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)一樣，神經(jīng)形態(tài)計(jì)算系統(tǒng)特別適用于眾多任務(wù)處理，其中之一是圖像和模式的分類(lèi)和識(shí)別。與CNN類(lèi)似，軟件控制的神經(jīng)形態(tài)脈沖神經(jīng)網(wǎng)絡(luò)(Spiking Neural Networks，SNN)已成功證明具有圖像處理功能。此類(lèi)SNN系統(tǒng)通過(guò)卷積和池化技術(shù)的組合來(lái)提取圖像特征，并與動(dòng)態(tài)視覺(jué)傳感器(dynamic vision sensor，DVS)相機(jī)和單光子雪崩探測(cè)器(single photon avalanche detectors，SPAD)結(jié)合使用以執(zhí)行圖像處理任務(wù)。此外，研究還表明，由于只有網(wǎng)絡(luò)的活動(dòng)部分需要計(jì)算，因此SNN比CNN具有更低的能量操作要求和更小的延遲。總之，由神經(jīng)形態(tài)光子器件構(gòu)成的SNN在直接構(gòu)建在光子學(xué)平臺(tái)上的快速高效的圖像處理系統(tǒng)的未來(lái)發(fā)展中顯示出巨大潛力。

  除此之外，半導(dǎo)體激光器還顯示出作為高速人工光學(xué)脈沖神經(jīng)元的能力，模擬大腦中生物神經(jīng)元的功能和脈沖操作。在半導(dǎo)體激光器中，垂直腔面發(fā)射激光器(vertical cavity surface emitting lasers，VCSEL)因其獨(dú)特的特性(如高速、易于集成在2D陣列中、與光纖的高耦合效率等)而備受關(guān)注。

  近期，思克萊德大學(xué)的研究工作展示了一種通過(guò)基于VCSEL的硬件系統(tǒng)和全光學(xué)脈沖卷積運(yùn)算構(gòu)建的具有圖像處理功能的平臺(tái)。該平臺(tái)使用單個(gè)VCSEL作為人工光學(xué)脈沖神經(jīng)元，并結(jié)合時(shí)分復(fù)用技術(shù)，使其成為一個(gè)對(duì)硬件非常友好的平臺(tái)。利用脈沖VCSEL神經(jīng)元的集成和發(fā)射能力，可以同時(shí)處理多個(gè)高速光輸入(100ps)，每個(gè)輸入都對(duì)不同的圖像像素進(jìn)行編碼，以直接在光域中進(jìn)行脈沖卷積運(yùn)算。該功能被用于(復(fù)雜)源圖像中的全光學(xué)邊緣特征檢測(cè)，顯示其具有非常高的速度和噪聲魯棒性。

  研究人員成功地對(duì)各種源圖像進(jìn)行了邊緣特征檢測(cè)，包括復(fù)雜圖像(例如研究所的徽標(biāo))、機(jī)打數(shù)字和手寫(xiě)數(shù)字(MNIST數(shù)據(jù)庫(kù)中的5000幅圖像)。如機(jī)打的“數(shù)字4”32? x ?32像素源圖像的邊緣檢測(cè)的結(jié)果所示，“數(shù)字4”的垂直邊緣由VCSEL神經(jīng)元識(shí)別(發(fā)射脈寬為100 ps的脈沖)。當(dāng)在圖像中發(fā)現(xiàn)垂直邊緣特征時(shí)，“垂直”內(nèi)核會(huì)產(chǎn)生四個(gè)負(fù)輸入脈沖群，而對(duì)于所有其他像素特征，則會(huì)產(chǎn)生較小的輸入脈沖群。VCSEL神經(jīng)元整合這些時(shí)間復(fù)用脈沖的組合能量，僅當(dāng)所有四個(gè)脈沖群均為負(fù)時(shí)(總能量超過(guò)脈沖觸發(fā)閾值)才會(huì)觸發(fā)脈沖，以檢測(cè)圖像中的垂直邊緣。對(duì)于所有其他情況，VCSEL神經(jīng)元保持靜止，因?yàn)榫幋a輸入脈沖群的組合能量沒(méi)有超過(guò)脈沖觸發(fā)閾值。

基于VCSEL神經(jīng)元的黑白圖像邊緣檢測(cè)

  為了進(jìn)一步測(cè)試該系統(tǒng)的能力，研究人員選擇了一幅更復(fù)雜的源圖像，即思克萊德大學(xué)(UoS)的323? × 323?像素RGB圖像。結(jié)果表明，所有水平線、垂直線和對(duì)角線均被識(shí)別，進(jìn)一步說(shuō)明圖像大小和復(fù)雜性均不會(huì)妨礙基于光子脈沖VCSEL的邊緣檢測(cè)系統(tǒng)的操作。重要的是，實(shí)現(xiàn)了96.63%的整體邊緣檢測(cè)精度。我們必須注意，每個(gè)像素的時(shí)間可以進(jìn)一步減少到僅1ns(VCSEL神經(jīng)元的脈沖耐受時(shí)間)，而無(wú)需任何額外的優(yōu)化過(guò)程，以實(shí)現(xiàn)更快的處理速度。

基于VCSEL神經(jīng)元的復(fù)雜的大尺寸圖像邊緣檢測(cè)

  此外，研究人員還表明，基于VCSEL的神經(jīng)形態(tài)光子硬件系統(tǒng)的光學(xué)脈沖輸出可以饋送到軟件控制的SNN中，并成功實(shí)現(xiàn)了手寫(xiě)數(shù)字圖像的識(shí)別。此外，這種方法使用價(jià)格低廉的商用VCSEL，其工作波長(zhǎng)為1300nm，因此允許與光通信網(wǎng)絡(luò)和數(shù)據(jù)中心技術(shù)完全兼容。

  基于集成和發(fā)射能力VCSEL神經(jīng)元的MNIST手寫(xiě)數(shù)字邊緣檢測(cè)

  研究人員還從理論上證明，具有更大維度(例如3? x 3)內(nèi)核VCSEL神經(jīng)元的運(yùn)用對(duì)于實(shí)現(xiàn)更復(fù)雜的圖像特征提取也是可能的。這意味著，無(wú)論是SNN(例如該研究中軟件控制的SNN)還是針對(duì)特定特征的識(shí)別系統(tǒng)，VCSEL神經(jīng)元有可能實(shí)現(xiàn)進(jìn)一步的卷積任務(wù)?？傮w而言，研究人員認(rèn)為，人工脈沖VCSEL神經(jīng)元在未來(lái)高速、低能量、硬件友好的神經(jīng)形態(tài)光子平臺(tái)上顯示出巨大的潛力。

  論文信息：

  Robertson, J., Kirkland, P., Alanis, J.A. et al. Ultrafast neuromorphic photonic image processing with a VCSEL neuron. Sci Rep 12, 4874 (2022).

  https://doi.org/10.1038/s41598-022-08703-1