離焦模糊通常源于相機景深的限制。在當今數(shù)字化時代，圖像質(zhì)量對于各種應用場景至關重要，從醫(yī)學影像到自動駕駛，從安防監(jiān)控到移動攝影，都需要高質(zhì)量的圖像處理技術(shù)。然而，傳統(tǒng)的圖像增強方法在處理離焦模糊圖像時往往效果有限。雖然深度學習方法在圖像修復問題上展現(xiàn)出巨大潛力，但離焦去模糊需要包含清晰對焦和離焦圖像對的訓練數(shù)據(jù)，這在實際場景中很難收集。主流深度學習模型（如DnCNN）不僅需要成對的數(shù)據(jù)集進行訓練，且在離焦增強的效果上存在明顯缺陷，難以滿足實際使用的需求。這些局限使得更高效、更精確的離焦增強技術(shù)成為亟待突破的難題，以獲得更高清晰度的圖像，執(zhí)行后續(xù)視覺任務。

為突破上述瓶頸，近日，南昌大學信息工程學院的成像與視覺表示實驗室研究團隊提出了一種基于擴散模型的真實世界離焦增強方法。相關研究成果以“Real-World Defocus Deblurring via Score-Based Diffusion Models”為題發(fā)表于Scientific Reports。

研究創(chuàng)新點：

擴散模型將訓練數(shù)據(jù)集的數(shù)據(jù)分布視為同一概率分布的采樣結(jié)果，并利用神經(jīng)網(wǎng)絡擬合其概率分布，并從該分布中采樣以生成符合分布的新樣本。擴散可分為兩個過程：正向和反向擴散過程。在前向過程中，通過逐步加入高斯噪聲對數(shù)據(jù)進行擾動，將原始數(shù)據(jù)分布轉(zhuǎn)換為一系列中間分布，最終得到一個簡單的先驗分布(一般為標準高斯分布)。反向過程中，通過逐步去除噪聲，將先驗分布轉(zhuǎn)換為一系列中間分布最終獲得近似于原始數(shù)據(jù)的分布，以實現(xiàn)從原始數(shù)據(jù)分布中采樣的目的。 

圖1.擴散模型的前向與后向過程

如圖1所示，為了利用擴散模型學習目標的數(shù)據(jù)分布關系，通過正向過程對圖像進行加噪，獲得不同加噪水平的訓練集，以此訓練擴散模型學習圖像在不同噪聲水平中的數(shù)據(jù)分布。重建階段，擴散模型利用學習到的不同噪聲水平的數(shù)據(jù)分布關系，從高斯噪聲逐步按照所學數(shù)據(jù)分布預測噪聲，獲得更低噪聲水平的圖像，最終生成出符合訓練數(shù)據(jù)分布的目標圖像。

然而，當圖像的離焦程度較大時，基于清晰圖像進行擴散模型訓練，所獲得的模型學習的先驗信息不足以支撐該情況下的信號增強并重建出聚焦的圖像。為此，該研究提出了核心目標：“使用離焦模糊的圖片，利用先進的人工智能算法（擴散模型）實現(xiàn)真實世界中的離焦增強效果”。

為實現(xiàn)這一目標，南昌大學研究團隊提出了一種基于分數(shù)擴散模型的真實世界離焦增強方法。研究團隊基于Score-based Diffusion Model（SDM），采用去噪分數(shù)匹配來學習清晰圖像的數(shù)據(jù)分布，能夠捕捉清晰圖像的先驗信息，從而在重建過程中優(yōu)化信息利用，實現(xiàn)圖像的離焦增強。其算法流程圖如圖2所示：

 

圖2.算法流程圖

其中，訓練和測試所用的數(shù)據(jù)集由兩部分組成：一是團隊用Sony RX100III在南昌大學校園自拍的約2.3萬張圖像，二是公開數(shù)據(jù)，包括含500場景、2000張圖的DPDD（雙像素離焦去模糊）數(shù)據(jù)集，以及分別用Sony A7RM3配14mm鏡頭和Lytro Illum光場相機拍攝的RealBlur（3758對訓練、980對測試圖）與DED（大規(guī)模真實離焦圖與去模糊配對集），共同構(gòu)成訓練與測試基礎。圖3展示了實驗的迭代過程 。圖1(a)-1(g)展示了基于分數(shù)擴散模型驅(qū)動的離焦圖像去模糊迭代過程，圖1(h)-1(n)和1(o)-1(u)則呈現(xiàn)了圖1(g)中兩個特寫區(qū)域的迭代細節(jié)。圖1(v)和1(w)分別展示了圖像迭代過程中PSNR和SSIM值的變化趨勢。所有圖像均從含噪版本開始迭代，經(jīng)過300次迭代后主體特征逐漸顯現(xiàn)，隨著迭代次數(shù)增加圖像清晰度持續(xù)提升。從圖1(h)-1(n)和1(o)-1(u)可見圖像的局部生成過程：在第350次迭代時已能辨識局部輪廓，隨著迭代次數(shù)增加，葉片與地磚的線條、輪廓等細節(jié)愈發(fā)清晰；至第700次迭代時，采用本方法重建的圖像已基本完成重構(gòu)，高頻細節(jié)得到顯著增強。圖中還展示了PSNR和SSIM值的迭代曲線變化。

 

圖3迭代重建過程

進一步，該團隊將多種不同的去模糊方法應用于自拍攝數(shù)據(jù)集上進行效果的對比，如圖4所示。圖4(r)-(u) 分別展示了圖4(a)-(p)的局部細節(jié)放大圖。圖中數(shù)字為圖像的峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM），所提方法重建后的圖像的峰值信噪比和結(jié)構(gòu)相似度都為最高。為了驗證方法的有效性，該團隊在真實數(shù)據(jù)集上進行了驗證，所提方法在真實場景數(shù)據(jù)集上表現(xiàn)更優(yōu)：峰值信噪比提升了~13.4%，結(jié)構(gòu)相似度提升了~34.7%。

 

圖4實驗數(shù)據(jù)與結(jié)果

結(jié)論與展望：

該項工作通過先進的人工智能算法，在真實世界場景中實現(xiàn)了離焦增強的突破性進展。通過去噪分數(shù)匹配訓練，學習清晰圖像的先驗信息。利用學習到的先驗分布，使模型能夠逐步依據(jù)其先驗信息進行數(shù)據(jù)采樣，無需配對數(shù)據(jù)即可在真實場景下顯著恢復圖像清晰度。在自采集數(shù)據(jù)集進行效果驗證，并與多種去模糊方法進行對比，驗證了該方法的先進性。這一進展顯著提升了真實場景下的離焦增強清晰度。本工作第一作者為南昌大學李宇浩、方浩然、雷翔（共同第一作者），通訊作者為南昌大學宋賢林副教授，劉且根教授對該研究給予了重要支持。

論文鏈接：https://doi.org/10.1038/s41598-025-07326-6