近日，中科院西安光機(jī)所在高光譜數(shù)據(jù)智能處理算法與視覺(jué)大模型應(yīng)用研究方面取得重要進(jìn)展，相關(guān)成果發(fā)表于IEEE Transactions on Geoscience and Remote Sensing (IF=8.6)。論文第一作者為西安光機(jī)所光譜成像技術(shù)研究室陳寶澄博士研究生，導(dǎo)師為西安光機(jī)所張耿研究員和陳鐵橋副研究員（通訊作者）。論文工作得到了新加坡國(guó)立大學(xué)王猛研究員的指導(dǎo)。論文第一完成單位和通訊單位為西安光機(jī)所。

與傳統(tǒng)光學(xué)遙感相比，高光譜遙感圖像具有數(shù)百個(gè)獨(dú)立光譜波段，能夠更精確地識(shí)別地表物質(zhì)。然而，標(biāo)注樣本稀缺長(zhǎng)期以來(lái)嚴(yán)重制約了其實(shí)際應(yīng)用。現(xiàn)有研究多采用少樣本學(xué)習(xí)范式，雖在一定程度上緩解了樣本不足的問(wèn)題，但由于缺乏對(duì)跨域光譜信息的一致性約束，加之?dāng)?shù)據(jù)稀缺導(dǎo)致模型規(guī)模難以擴(kuò)展，其跨域泛化能力仍然受限。

圖片:W020251014579491998004.png

圖.SpectralDINO模型框架

針對(duì)上述問(wèn)題，研究團(tuán)隊(duì)創(chuàng)新性地提出了一種基于視覺(jué)大模型的高光譜少樣本分類(lèi)框架SpectralDINO。該框架通過(guò)源域光譜對(duì)齊模塊統(tǒng)一各數(shù)據(jù)域的光譜信息，增強(qiáng)模型學(xué)習(xí)跨域通用特征能力。團(tuán)隊(duì)同時(shí)設(shè)計(jì)了一種新型低秩適應(yīng)（Low-Rank Adaptation, LoRA）模塊，并使用交替訓(xùn)練策略對(duì)視覺(jué)大模型進(jìn)行微調(diào)，通過(guò)雙混合子空間的設(shè)計(jì)，解決了原始LoRA無(wú)法區(qū)分跨域數(shù)據(jù)的結(jié)構(gòu)性問(wèn)題。

實(shí)驗(yàn)顯示，該方法有效提升了模型從少量樣本提取特征的泛化能力，提高了模型在高光譜少樣本分類(lèi)任務(wù)中的表現(xiàn)，在多個(gè)公開(kāi)數(shù)據(jù)集上超越現(xiàn)有先進(jìn)方法并實(shí)現(xiàn)了最佳分類(lèi)準(zhǔn)確率，為環(huán)境檢測(cè)、精準(zhǔn)農(nóng)業(yè)等遙感應(yīng)用提供新的技術(shù)路徑。

圖片:W020251014579492225438.png

圖.不同方法在Pavia University數(shù)據(jù)集上的分類(lèi)結(jié)果

該工作得到了國(guó)家自然科學(xué)基金項(xiàng)目、陜西省自然科學(xué)基礎(chǔ)研究項(xiàng)目、陜西省重點(diǎn)研發(fā)計(jì)劃等項(xiàng)目支持。

西安光機(jī)所光譜成像技術(shù)研究室致力于將傳統(tǒng)遙感信息處理與AI大模型結(jié)合，提升星載/機(jī)載高光譜遙感數(shù)據(jù)產(chǎn)品的應(yīng)用效能。張耿、陳鐵橋團(tuán)隊(duì)長(zhǎng)期專(zhuān)注于高光譜數(shù)據(jù)智能處理領(lǐng)域，在TGRS、JSTARS、RS等遙感與圖像處理期刊發(fā)表多篇學(xué)術(shù)論文，授權(quán)國(guó)家發(fā)明專(zhuān)利多項(xiàng)。團(tuán)隊(duì)主持了國(guó)家重點(diǎn)研發(fā)計(jì)劃、自然科學(xué)基金、陜西省自然科學(xué)基金等項(xiàng)目。

論文鏈接：https://ieeexplore.ieee.org/document/11192579