近日，南昌大學(xué)物理與材料學(xué)院于天寶教授帶領(lǐng)的微納光學(xué)團(tuán)隊(duì)與信息工程學(xué)院劉婷婷副教授合作，將光計(jì)算與人工智能交叉結(jié)合，提出基于光電協(xié)同計(jì)算架構(gòu)的生成模型——光電生成對(duì)抗網(wǎng)絡(luò)（OE-GAN），實(shí)現(xiàn)了復(fù)雜生成任務(wù)的高效處理，為突破生成式人工智能的算力與能效瓶頸提供了創(chuàng)新解決方案。該成果以“Optoelectronic generative adversarial networks”為題發(fā)表在Nature旗下期刊Communications Physics上。

隨著人工智能生成內(nèi)容（AIGC）技術(shù)的快速發(fā)展，生成模型已廣泛應(yīng)用于圖像、文本及視頻等多個(gè)領(lǐng)域，然而，傳統(tǒng)電子計(jì)算框架的高能耗問(wèn)題日益凸顯。光計(jì)算憑借其光速并行處理與低功耗的天然優(yōu)勢(shì)，為構(gòu)建高效生成模型開(kāi)辟了新途徑。研究團(tuán)隊(duì)創(chuàng)新性地提出了OE-GAN混合計(jì)算架構(gòu)，其核心是將生成器設(shè)計(jì)為衍射光學(xué)網(wǎng)絡(luò)（DON），通過(guò)相位調(diào)制實(shí)現(xiàn)光速并行計(jì)算；判別器則采用電子多層感知機(jī)（MLP），通過(guò)對(duì)抗訓(xùn)練優(yōu)化生成器性能。訓(xùn)練完成后，僅需光學(xué)生成器執(zhí)行推理，計(jì)算過(guò)程近乎全光學(xué)化。生成器網(wǎng)絡(luò)由堆疊的衍射計(jì)算單元組成，通過(guò)相位調(diào)制、光電激活與電子中繼三階段，高效實(shí)現(xiàn)光-電信號(hào)轉(zhuǎn)換。網(wǎng)絡(luò)通過(guò)逐層相位調(diào)制對(duì)光場(chǎng)進(jìn)行精確調(diào)控，利用光波的衍射傳播特性，光信號(hào)在傳播過(guò)程中完成特定計(jì)算任務(wù)；經(jīng)多層級(jí)聯(lián)的衍射傳輸后，輸出端的光場(chǎng)分布映射為計(jì)算結(jié)果，從而實(shí)現(xiàn)高速、低功耗的信息處理過(guò)程。

圖片:C9D38116C882EC4DC3CC88ECBB5_9229A2BC_1C285.png

圖1.光電網(wǎng)絡(luò)架構(gòu)示意圖

研究團(tuán)隊(duì)在三項(xiàng)典型任務(wù)中驗(yàn)證了OE-GAN的通用性：

圖像生成：可高效合成手寫(xiě)數(shù)字、服裝等復(fù)雜圖像；

條件生成：輸入類(lèi)別標(biāo)簽即可生成特定類(lèi)別圖像，恢復(fù)質(zhì)量與無(wú)條件生成相當(dāng)。

圖像修復(fù)：對(duì)遮擋率超50%的破損圖像，重建誤差（MSE）低至0.018。

圖片:搜狗截圖20250528083157.png

圖2.網(wǎng)絡(luò)在三種生成任務(wù)的結(jié)果

本研究提出的OE-GAN創(chuàng)新性地融合了光學(xué)與電子計(jì)算的協(xié)同優(yōu)勢(shì)，在顯著提升計(jì)算效率的同時(shí)有效降低了能耗。實(shí)驗(yàn)驗(yàn)證表明，OE-GAN在圖像生成、條件生成及圖像修復(fù)等多個(gè)任務(wù)中均展現(xiàn)出穩(wěn)定的性能表現(xiàn)，尤其在遷移學(xué)習(xí)場(chǎng)景下可大幅降低訓(xùn)練成本。這一成果為高效生成式AI系統(tǒng)的開(kāi)發(fā)提供了新思路，研究團(tuán)隊(duì)將持續(xù)推進(jìn)系統(tǒng)優(yōu)化工作，加速技術(shù)實(shí)用化進(jìn)程。

物理與材料學(xué)院博士生邱駒敏、盧淦卿為該論文的共同第一作者，信息工程學(xué)院劉婷婷副教授、物理與材料學(xué)院于天寶教授為共同通訊作者，南昌大學(xué)為唯一通訊單位。物理與材料學(xué)院張德健講師、信息工程學(xué)院肖書(shū)源副研究員對(duì)該研究提供了重要支持。該研究工作得到國(guó)家自然科學(xué)基金、江西省自然科學(xué)基金等項(xiàng)目的支持。

論文鏈接：https://doi.org/10.1038/s42005-025-02081-6