清華大學提出光譜成像芯片2.0，世界首款“物譜芯片”！

算力是智能時代最重要的基石和引擎，而視覺是人類和機器感知世界最重要的途徑。“感算一體芯片”作為人工智能時代重要的基礎模塊，可以為手機、機器人、無人機等一系列小型化、便攜化終端設備賦能感知與計算的強大能力。清華大學電子系黃翊東教授團隊崔開宇課題組提出世界首款“物譜芯片”——光譜成像芯片2.0，即物質成像光譜卷積神經網絡芯片，是面向復雜視覺任務的感算一體芯片，也是首個可以用含有物質光譜信息的自然光直接作為輸入的光計算芯片，突破了現(xiàn)有光神經網絡大多都難以落地到實際應用的困境，真正實現(xiàn)真實世界的復雜視覺計算任務。 I'%H:53^0  
隨著大數(shù)據大模型對算力需求呈現(xiàn)遠超摩爾定律增長的趨勢,電子計算平臺的能耗大且計算速度有限，嚴重限制了邊緣設備上人工智能模型的發(fā)展。光神經網絡具有計算速度快、并行性高、功耗低的明顯優(yōu)勢，被認為是最有前途的下一代并行計算方案。然而受限于片上集成的規(guī)模問題以及對相干光源的依賴性，現(xiàn)有的光神經網絡大多都難以落地到實際的應用場景中，只能用在圖像邊緣檢測、手寫數(shù)字識別等簡單的任務上。 y:[VRLo  
受生物視覺啟發(fā)的卷積神經網絡（Convolutional Neural Network，CNN），能夠提取圖像的高維特征并顯著降低神經網絡處理圖像數(shù)據所需的參數(shù)量，在圖像識別、分割、檢測等機器視覺任務中得到廣泛應用。崔開宇課題組提出新的感算一體式解決思路，即光譜卷積神經網絡（Spectral convolutional neural network, SCNN），如圖1所示，通過在圖像傳感器（CMOS imagesensor, CIS）表面大規(guī)模集成光譜調制結構，便能夠在光譜維度實現(xiàn)向量內積的大規(guī)模并行計算。將集成了光譜調制結構的圖像傳感器視為輸入層及第一卷積層，結合后續(xù)的小規(guī)模電計算卷積層，便能構成一個光電混合的神經網絡。 fJ"~XTN}T