機器在雨霧天“看不見”怎麼辦？麵對在低對比度視覺環境下識別目標的挑戰，南京大學物理學院梁世軍副教授和繆峰教授領導的團隊創新提出了“傳感器內動態計算”概念。通過在基於新型材料結構的傳感器內集成更多計算與信息處理功能，該技術能夠在對比度變化的環境中始終保持對目標的精準識別和高魯棒追蹤。該工作推動了智能機器視覺技術的發展，有望在多個領域內實現其革新應用。

　　在雨雪大霧天氣出行時，行人、非機動車等目標物往往難以分辨，造成交通安全隱患。這是由於在這些特殊氣象條件下，來自目標物的光強與周圍背景光強非常接近，整體視野內圖像的對比度偏低，難以有效識別出目標。類似的情況也發生在夜間等光照條件不理想的場景下，例如在昏暗的走廊與街巷中，來自人和物體的反射光強與周圍背景反射光強都比較弱。在上述這些低對比度光學環境下，目標物的輪廓與邊緣等關鍵特征模糊，極大增加了在背景環境中對目標進行有效分辨和識別的難度。

　　機器視覺是人工智能正在快速發展的一個分支，簡單說來就是用機器代替人眼來實現目標識別等功能，在工業自動化、無人駕駛、智慧城市等眾多領域有著廣泛應用。現有機器視覺係統（前端圖像傳感器+後端處理器）在低對比度環境下，主要通過在後端軟件處理過程中，人為增強圖像的對比度來提高目標的區分度，或者通過增加前端傳感器內所有像元的感光度和延長曝光時間，這些方式不僅會拖慢速度和引入更多噪聲，而且會增加後端算力負擔，可謂治標不治本。對此，一個可行的方案是在光電傳感器進行探測的同時，就在傳感器內部實現對低對比度環境內目標特征的放大與增強，用特征增強後的圖像取代原始低對比度圖像，這樣利用後端處理器或神經網絡進行目標識別時，將有望顯著提升識別準確率和魯棒性。

　　針對上述挑戰，南京大學物理學院梁世軍副教授、繆峰教授團隊通過在傳感器內引入更多計算與信息處理功能，首次提出傳感器內動態計算範式，推動智能機器視覺技術功能升級與應用拓展。團隊通過原理性實驗驗證，實現了低對比度光學場景下弱目標特征的準確提取，展現了對弱目標的魯棒、精確地識別與追蹤能力。該動態計算範式的硬件實現基於石墨烯/鍺異質集成構築的光電響應度多端口可調控感光器件。通過在相鄰器件之間引入信號交互與關聯控製，根據圖像局域光強梯度動態調控卷積核權重，形成可自適應圖像內容的傳感器內動態卷積計算單元。

　　相關研究成果以“In-sensor Dynamic Computing for Intelligent Machine Vision”（麵向智能機器視覺的傳感器內動態計算）為題於2024年2月8日在線發表在國際電子學領域頂級期刊Nature Electronics 《自然·電子學》上（https://www.nature.com/articles/s41928-024-01124-0）。同期《自然·電子學》“研究簡報（Research briefing）”欄目以“Pixel-Correlated Computing for Detecting and Tracking Targets in Dim Lighting（用於弱目標檢測與追蹤的像素關聯計算）”為題，對該研究成果進行了專題報道，評價該工作展示了“一種先進的感內計算技術（an advanced form of in-sensor processing technology）”。由於這類材料與器件的製備均可采用較為成熟的工藝，該技術有望實現大規模芯片級集成與係統級應用。

　　研究團隊在圖像傳感器內構建了新型“動態卷積”計算單元（如圖a）。傳統卷積核在滑過整幅圖像的過程中，卷積核權值是固定的，不隨圖像信息進行適應性變化，難以對圖像局部特征進行有針對性和特異性處理。與傳統卷積操作不同的是，通過傳感器硬件構建的局域關聯“動態卷積核”，由處於中心的1個動態像元和周圍8個靜態像元組合而成。其中，靜態像元負責感知當前位置圖像的局域光強（灰度）變化，例如圖像的局域梯度，所有靜態像元的光電響應度（權重）是固定且一致的。而動態像元的光電響應度（權重）會隨著周圍8個靜態像元的光電流輸出特性（反映了圖像的局部特征）進行動態調控。如果檢測到此處有較大的局域光強變化，動態像元將調整自身光電響應度使得整個“動態卷積”單元能夠主動地根據圖像局域信息，進行有選擇性和針對性的特征放大與增強。

　　該“動態卷積”單元的硬件實現是基於多端口可調光電響應特性的石墨烯/鍺異質結光電器件。通過外圍電路的配合，能夠在陣列中的器件之間引入動態信號交互與關聯控製。研究團隊通過原理性實驗，展示了對昏暗走廊中站立的人這個典型弱目標的特征提取效果（如圖b）。該動態關聯計算範式革新了傳統圖像傳感陣列中每個像元彼此獨立工作的靜態傳感模式，為智能機器視覺係統在複雜與極端光學場景中的弱目標精準探測提供了通用且可行的技術途徑。

　　圖 (a) 局域關聯感內計算原理示意圖以及器件結構示意圖；(b) 一種典型場景下弱目標特征提取的實驗結果。