上海交大金賢敏團(tuán)隊(duì)：基于混合架構(gòu)光子計(jì)算芯片的高效強(qiáng)化學(xué)習(xí)

  近日，「圖靈量子」、上海交大集成量子信息技術(shù)技術(shù)研究中心(IQIT)、上海交大無(wú)錫光子芯片研究院(CHIPX)合作發(fā)表創(chuàng)新成果。上海交大金賢敏團(tuán)隊(duì)在《自然·通訊》(Nature Communications)上以「High-efficiency reinforcement learning with hybrid architecture photonic integrated circuit」為題發(fā)表最新研究成果，提出了一種新型混合架構(gòu)可編程光子計(jì)算芯片，展示了基于光子芯片的強(qiáng)化學(xué)習(xí)(PIC-RL)對(duì)鈣鈦礦材料合成任務(wù)的高效求解。文章中提出的PIC-RL框架首次成功實(shí)現(xiàn)了在可編程光子計(jì)算芯片上的復(fù)雜強(qiáng)化學(xué)習(xí)任務(wù)實(shí)驗(yàn)求解。同時(shí)，混合架構(gòu)光子芯片(HyArch PIC)的獨(dú)特優(yōu)勢(shì)為光子人工智能和光量子計(jì)算開(kāi)辟了新的研究方向。這項(xiàng)研究為深入探索前沿強(qiáng)化學(xué)習(xí)算法以及充分利用光子集成芯片實(shí)現(xiàn)先進(jìn)人工智能奠定了基礎(chǔ)。

Nature Communications官網(wǎng)截圖

  強(qiáng)化學(xué)習(xí)(Reinforcement Learning, RL)是機(jī)器學(xué)習(xí)的核心范式之一，在構(gòu)建通用學(xué)習(xí)系統(tǒng)(例如ChatGPT等)中發(fā)揮著至關(guān)重要的作用。然而，傳統(tǒng)電子計(jì)算機(jī)在模擬強(qiáng)化學(xué)習(xí)模型中智能體與環(huán)境交互的過(guò)程中消耗了大量計(jì)算資源，對(duì)強(qiáng)化學(xué)習(xí)的效率提出了重大挑戰(zhàn)。為了克服這一難題，研究團(tuán)隊(duì)提出了一個(gè)通用框架，利用光子集成芯片(PIC)來(lái)模擬強(qiáng)化學(xué)習(xí)中智能體與環(huán)境的交互，以提高算法效率。該項(xiàng)研究結(jié)果驗(yàn)證了在光子集成芯片平臺(tái)上模擬強(qiáng)化學(xué)習(xí)算法交互的有效性，突顯了其在處理大規(guī)模和復(fù)雜RL任務(wù)中提升計(jì)算能力的潛力。

圖1 a) 混合架構(gòu)光子芯片(HyArch PIC)示意圖，由光學(xué)幺正網(wǎng)絡(luò)結(jié)構(gòu)U和光學(xué)點(diǎn)積處理器OCTOPUS組成;

b) 基于光子芯片的強(qiáng)化學(xué)習(xí)(PIC-RL)框架。

  研究團(tuán)隊(duì)創(chuàng)新設(shè)計(jì)的混合架構(gòu)光子芯片(HyArch PIC)在可擴(kuò)展性，多功能性以及高速兼容性方面相較于單一集成光計(jì)算架構(gòu)(如SVD網(wǎng)絡(luò)和光學(xué)線(xiàn)性神經(jīng)元架構(gòu))表現(xiàn)出顯著優(yōu)勢(shì)。在容錯(cuò)性方面，HyArch PIC相較于SVD網(wǎng)絡(luò)具有亞指數(shù)級(jí)別的優(yōu)勢(shì)，進(jìn)而支持大規(guī)模地片上集成。計(jì)算表明，當(dāng)采用10GHz的高速薄膜鈮酸鋰電光調(diào)制器作為調(diào)制單元時(shí)，128維HyArch PIC的算力能夠超越NVIDIA A100顯卡。將HyArch PIC與高速FPGA和電驅(qū)動(dòng)器集成在單個(gè)開(kāi)發(fā)板上，形成高度集成的光電計(jì)算板卡，提供了巨大的參數(shù)優(yōu)化空間。174個(gè)封裝好電學(xué)接口通過(guò)「圖靈量子」自主設(shè)計(jì)的256通道100kHz驅(qū)動(dòng)板卡控制，實(shí)現(xiàn)了對(duì)HyArch PIC上全部87個(gè)通道的任意編程重構(gòu)。通過(guò)全局參數(shù)優(yōu)化和鏈路校準(zhǔn)，HyArch PIC可高精度完成高達(dá)15維光學(xué)點(diǎn)積操作，確保后續(xù)復(fù)雜RL算法在光子芯片上的有效執(zhí)行。

圖2 基于HyArch PIC芯片光電計(jì)算系統(tǒng)的實(shí)驗(yàn)展示。

a) 光電集成計(jì)算板卡的架構(gòu)展示;b)光電集成計(jì)算板卡實(shí)物圖;

c) HyArch PIC顯微圖片;d)~g) HyArch PIC的測(cè)試結(jié)果。

  為了驗(yàn)證PIC-RL框架的有效性，研究團(tuán)隊(duì)首先進(jìn)行了基于懸崖行走環(huán)境(cliff walking)的基準(zhǔn)測(cè)試。在Q-learning算法的基礎(chǔ)上，引入相似度獎(jiǎng)勵(lì)函數(shù)(SRF)相較于恒定獎(jiǎng)勵(lì)函數(shù)(CRF)實(shí)現(xiàn)了訓(xùn)練加速。并且隨著環(huán)境規(guī)模的擴(kuò)大，SRF更顯著地實(shí)現(xiàn)了指數(shù)級(jí)別的加速效果。

圖3 基于PIC-RL的懸崖行走任務(wù)基準(zhǔn)測(cè)試。

  為了更深入驗(yàn)證 PIC-RL 的效率和通用性，上海交大研究團(tuán)隊(duì)進(jìn)一步和「圖靈量子」的材料算法專(zhuān)家討論，共同研究了PIC-RL框架在解決實(shí)際問(wèn)題(二維鈣鈦礦材料合成問(wèn)題)中的應(yīng)用。通過(guò)對(duì)比原始的Ruddlesden-Popper (RP) 相過(guò)渡金屬鈣鈦礦硫?qū)倩顲a?Sn?S?(CSS)，研究團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)氧元素部分取代硫族陰離子的條件下，衍生產(chǎn)物Ca?Sn?S????O? (CSSOx, x從1到5)表現(xiàn)出更為卓越的光伏性能。類(lèi)似于高維空間懸崖行走任務(wù)，鈣鈦礦材料合成任務(wù)的目標(biāo)是在由所有3472 個(gè)CSSOx 衍生結(jié)構(gòu)組成的狀態(tài)空間內(nèi)確定從起始結(jié)構(gòu)到目標(biāo)結(jié)構(gòu)的最佳合成路線(xiàn)?；诟咝У腜IC-RL框架，研究團(tuán)隊(duì)成功地在3472維狀態(tài)空間內(nèi)完成了鈣鈦礦材料合成的強(qiáng)化學(xué)習(xí)任務(wù)，并顯著提升了算法效率(56%的提升)。

圖4 基于PIC-RL的鈣鈦礦材料合成任務(wù)求解。

a) RP phase CSSOx晶體結(jié)構(gòu)圖及其向量表示;b) CSSOx鈣鈦礦材料最優(yōu)合成路線(xiàn);

c) 3472個(gè)14維結(jié)構(gòu)相似度計(jì)算的實(shí)驗(yàn)與數(shù)值的對(duì)比曲線(xiàn)(σ=0.015);

d) PIC-RL的訓(xùn)練曲線(xiàn)(綠)，相較于傳統(tǒng)CRF-RL算法(灰)實(shí)現(xiàn)了56%的訓(xùn)練加速;

e)3472維狀態(tài)空間中最優(yōu)合成路線(xiàn)的t-SNE表示。

  在上述研究過(guò)程中，「圖靈量子」的光電硬件研發(fā)團(tuán)隊(duì)為集成光電計(jì)算板卡的軟硬件開(kāi)發(fā)提供了關(guān)鍵支持，「圖靈量子」的材料算法專(zhuān)家團(tuán)隊(duì)為項(xiàng)目中鈣鈦礦材料合成方案提供了關(guān)鍵的知識(shí)支撐以及寶貴的數(shù)據(jù)。上海交通大學(xué)集成量子信息技術(shù)研究中心與「圖靈量子」研發(fā)團(tuán)隊(duì)緊密合作，深度推動(dòng)學(xué)科交叉和融合發(fā)展，是一次產(chǎn)學(xué)研結(jié)合創(chuàng)新的重要典范。

  研究團(tuán)隊(duì)感謝「圖靈量子」、上海交大無(wú)錫光子芯片研究院(CHIPX)與上海交大集成量子信息技術(shù)技術(shù)研究中心(IQIT)的合作。并感謝上海市科委重大項(xiàng)目、國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)、國(guó)家重點(diǎn)研發(fā)計(jì)劃、上海市教委的大力支持。上海交通大學(xué)集成量子信息技術(shù)研究中心博士李軒坤為論文第一作者，金賢敏教授為論文通訊作者。