近日，清華大學類腦計算研究中心團隊研制出了世界首款類腦互補視覺芯片“天眸芯”，相關成果5月30日作為封面文章，發(fā)表于國際學術期刊《自然》。

論文通訊作者、清華大學精密儀器系教授施路平介紹，在開放世界中，智能系統(tǒng)不僅要應對龐大的數(shù)據(jù)量，還需要應對如駕駛場景中的突發(fā)危險、隧道口的劇烈光線變化和夜間強閃光干擾等極端事件。而傳統(tǒng)視覺感知芯片面對此類場景往往出現(xiàn)失真、失效或高延遲，限制系統(tǒng)的穩(wěn)定性和安全性。

圖片:012BED6AF567C46B3E7EC5B7796_004F96E6_248DA7.jpg

為更好應對上述問題，清華大學類腦計算研究中心團隊聚焦類腦視覺感知芯片技術，提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式。

“該范式借鑒了人類視覺系統(tǒng)的基本原理，將開放世界的視覺信息拆解為基于視覺原語的信息表示，并通過有機組合這些原語，模仿人視覺系統(tǒng)的特征，形成兩條優(yōu)勢互補、信息完備的視覺感知通路。”施路平說。

基于這一新范式，團隊進一步研制出了世界首款類腦互補視覺芯片“天眸芯”，在極低的帶寬和功耗代價下，實現(xiàn)了高速、高精度、高動態(tài)范圍的視覺信息采集，能夠高效應對各種極端場景，確保系統(tǒng)的穩(wěn)定性和安全性。

同時，基于“天眸芯”，團隊還自主研發(fā)了高性能軟件和算法，并在開放環(huán)境車載平臺上進行了性能驗證。在多種極端場景下，該系統(tǒng)實現(xiàn)了低延遲、高性能的實時感知推理，展現(xiàn)了其在智能無人系統(tǒng)領域的應用潛力。

論文通訊作者、清華大學精密儀器系教授趙蓉表示，“天眸芯”為自動駕駛、具身智能等重要應用開辟了新的道路。結合團隊在類腦計算芯片“天機芯”、類腦軟件工具鏈和類腦機器人方面的應用落地的技術積累，“天眸芯”的加入將能夠進一步完善類腦智能生態(tài)，有力推動人工通用智能的發(fā)展。

據(jù)介紹，這是該團隊繼異構融合類腦計算“天機芯”后，第二次登上《自然》封面，標志著在類腦計算和類腦感知兩個方向上均取得了基礎性突破。

相關鏈接：https://www.nature.com/articles/s41586-024-07358-4