近日，南昌大學物理與材料學院于天寶教授帶領的微納光學團隊與信息工程學院劉婷婷副教授合作，將光計算與人工智能交叉結合，提出基于光電協(xié)同計算架構的生成模型——光電生成對抗網(wǎng)絡（OE-GAN），實現(xiàn)了復雜生成任務的高效處理，為突破生成式人工智能的算力與能效瓶頸提供了創(chuàng)新解決方案。該成果以“Optoelectronic generative adversarial networks”為題發(fā)表在Nature旗下期刊Communications Physics上。

隨著人工智能生成內(nèi)容（AIGC）技術的快速發(fā)展，生成模型已廣泛應用于圖像、文本及視頻等多個領域，然而，傳統(tǒng)電子計算框架的高能耗問題日益凸顯。光計算憑借其光速并行處理與低功耗的天然優(yōu)勢，為構建高效生成模型開辟了新途徑。研究團隊創(chuàng)新性地提出了OE-GAN混合計算架構，其核心是將生成器設計為衍射光學網(wǎng)絡（DON），通過相位調(diào)制實現(xiàn)光速并行計算；判別器則采用電子多層感知機（MLP），通過對抗訓練優(yōu)化生成器性能。訓練完成后，僅需光學生成器執(zhí)行推理，計算過程近乎全光學化。生成器網(wǎng)絡由堆疊的衍射計算單元組成，通過相位調(diào)制、光電激活與電子中繼三階段，高效實現(xiàn)光-電信號轉換。網(wǎng)絡通過逐層相位調(diào)制對光場進行精確調(diào)控，利用光波的衍射傳播特性，光信號在傳播過程中完成特定計算任務；經(jīng)多層級聯(lián)的衍射傳輸后，輸出端的光場分布映射為計算結果，從而實現(xiàn)高速、低功耗的信息處理過程。

圖片:C9D38116C882EC4DC3CC88ECBB5_9229A2BC_1C285.png

圖1.光電網(wǎng)絡架構示意圖

研究團隊在三項典型任務中驗證了OE-GAN的通用性：

圖像生成：可高效合成手寫數(shù)字、服裝等復雜圖像；

條件生成：輸入類別標簽即可生成特定類別圖像，恢復質(zhì)量與無條件生成相當。

圖像修復：對遮擋率超50%的破損圖像，重建誤差（MSE）低至0.018。

圖片:搜狗截圖20250528083157.png

圖2.網(wǎng)絡在三種生成任務的結果

本研究提出的OE-GAN創(chuàng)新性地融合了光學與電子計算的協(xié)同優(yōu)勢，在顯著提升計算效率的同時有效降低了能耗。實驗驗證表明，OE-GAN在圖像生成、條件生成及圖像修復等多個任務中均展現(xiàn)出穩(wěn)定的性能表現(xiàn)，尤其在遷移學習場景下可大幅降低訓練成本。這一成果為高效生成式AI系統(tǒng)的開發(fā)提供了新思路，研究團隊將持續(xù)推進系統(tǒng)優(yōu)化工作，加速技術實用化進程。

物理與材料學院博士生邱駒敏、盧淦卿為該論文的共同第一作者，信息工程學院劉婷婷副教授、物理與材料學院于天寶教授為共同通訊作者，南昌大學為唯一通訊單位。物理與材料學院張德健講師、信息工程學院肖書源副研究員對該研究提供了重要支持。該研究工作得到國家自然科學基金、江西省自然科學基金等項目的支持。

論文鏈接：https://doi.org/10.1038/s42005-025-02081-6