從解剖學(xué)角度看，人類的眼睛就像大腦伸出的精密 “觸手”，視網(wǎng)膜作為 “觸手尖端”，觸碰著我們所見的一切。進化在這一復(fù)雜的神經(jīng)結(jié)構(gòu)上創(chuàng)造了奇跡。

如今，對比人類眼睛的構(gòu)造與當(dāng)今最廣泛使用的機器視覺系統(tǒng)設(shè)計：電荷耦合器件（CCD）或互補金屬氧化物半導(dǎo)體（CMOS）成像芯片，二者均由像素網(wǎng)格組成。人類眼睛的能效比這些平面芯片式計算機視覺設(shè)備高出數(shù)個數(shù)量級，原因如下：對于觀察到的場景，芯片的像素網(wǎng)格會在接收環(huán)境光線的過程中定期、完整地更新；而人類眼睛則更為 “節(jié)儉”，在任何時刻都只將注意力集中在視覺場景的一小部分 —— 即發(fā)生變化的部分，例如飄動的樹葉或濺入水中的高爾夫球。

我所在的公司 Prophesee 及行業(yè)競爭對手將場景中的這些變化稱為 “事件”，而這種受生物啟發(fā)、專為捕捉此類事件設(shè)計的機器視覺系統(tǒng)則被稱為神經(jīng)形態(tài)事件傳感器。與 CCD 和 CMOS 成像芯片相比，事件傳感器響應(yīng)速度更快、動態(tài)范圍更高（意味著可同時檢測場景中的黑暗和明亮區(qū)域）、捕捉快速運動時無模糊，且僅在感知到事件的時間和位置生成新數(shù)據(jù) —— 這使得傳感器在能耗和數(shù)據(jù)傳輸效率上具備顯著優(yōu)勢。我們及其他行業(yè)參與者正利用這些受生物啟發(fā)的 “超級傳感器”，大幅升級各類設(shè)備和機器，包括高動態(tài)范圍相機、增強現(xiàn)實可穿戴設(shè)備、無人機和醫(yī)療機器人。

如今，無論你看向何處，機器都開始 “回望” 我們 —— 而得益于事件傳感器，它們的 “視野” 正越來越接近人類的感知方式。

事件傳感器與CMOS成像芯片的比較

受人類眼睛啟發(fā)的數(shù)字傳感器可追溯至數(shù)十年前。20 世紀(jì) 80 年代，加州理工學(xué)院首次嘗試研發(fā)此類傳感器：先驅(qū)電氣工程師 Carver A. Mead、Misha Mahowald 及其同事利用模擬電路模擬人類視網(wǎng)膜中興奮性細胞的功能，打造出 “硅視網(wǎng)膜”。20 世紀(jì) 90 年代，Mead 聯(lián)合創(chuàng)辦 Foveon 公司，開發(fā)受神經(jīng)啟發(fā)的 CMOS 圖像傳感器，該傳感器具備更高的色彩準(zhǔn)確度、低光環(huán)境下更少的噪聲和更銳利的圖像。2008 年，相機制造商 Sigma 收購 Foveon，并繼續(xù)將該技術(shù)應(yīng)用于攝影領(lǐng)域。

20 世紀(jì) 90 年代至 21 世紀(jì)初，多家研究機構(gòu)持續(xù)推進生物啟發(fā)式成像技術(shù)。2006 年，蘇黎世大學(xué)神經(jīng)信息研究所的團隊打造出首款實用的時間對比度事件傳感器，可捕捉光強度隨時間的變化。2010 年，塞維利亞微電子研究所的研究人員設(shè)計出可調(diào)優(yōu)的傳感器，能夠檢測空間或時間上的變化；同年，我在維也納奧地利技術(shù)研究所的團隊將時間對比度檢測與像素級光電流積分相結(jié)合，既能檢測光強度的相對變化，又能獲取每個像素的絕對光強度。近年來，2022 年，巴黎視覺研究所的團隊及其衍生公司 Pixium Vision 將神經(jīng)形態(tài)傳感器技術(shù)應(yīng)用于生物醫(yī)學(xué)領(lǐng)域 —— 開發(fā)視網(wǎng)膜植入物，幫助盲人恢復(fù)部分視力（Pixium 此后被總部位于加州阿拉米達的腦機接口制造商 Science Corp. 收購）。

其他在現(xiàn)實視覺任務(wù)中率先開發(fā)事件傳感器的初創(chuàng)公司包括蘇黎世的iniVation（后與中國SynSense合并）、新加坡的CelePixel（現(xiàn)為OmniVision的一部分）以及我所在的公司Prophesee（前身為Chronocam，位于巴黎）。

在主流 CMOS 圖像傳感器公司中，Samsung 率先推出自主研發(fā)的事件傳感器設(shè)計。如今，Sony、OmniVision 等其他主要廠商也在探索和部署事件傳感器。各公司瞄準(zhǔn)的應(yīng)用場景廣泛，包括汽車機器視覺、無人機檢測、血細胞追蹤以及制造業(yè)使用的機器人系統(tǒng)等。

事件傳感器的工作原理

要理解事件傳感器的威力，可以考慮一臺傳統(tǒng)攝像機記錄網(wǎng)球以每小時150公里的速度穿越球場。根據(jù)不同相機，它能捕捉24到60幀每秒，這可能導(dǎo)致由于球在幀間的大幅位移導(dǎo)致快速運動的欠采樣，并可能因曝光時間內(nèi)球的運動而出現(xiàn)運動模糊。同時，攝像機實際上過度采樣了靜態(tài)背景，比如網(wǎng)子和球場上其他不動的部分。

如果你讓機器視覺系統(tǒng)分析場景中的動態(tài)，它必須依賴這串靜態(tài)圖像——攝像機的幀——這些圖像既包含重要信息不足，也包含過多無關(guān)緊要信息。這是一種根本不匹配的方法，導(dǎo)致機器視覺系統(tǒng)構(gòu)建者投資于復(fù)雜且耗電的處理基礎(chǔ)設(shè)施，以彌補數(shù)據(jù)不足。這些機器視覺系統(tǒng)成本過高，無法用于需要實時理解場景的應(yīng)用，如自動駕駛車輛，且在電池供電的智能眼鏡、無人機和機器人等應(yīng)用中消耗過多的能源、帶寬和計算資源。

理想情況下，圖像傳感器應(yīng)對包含快速運動和變化的場景部分使用高采樣率，對緩慢變化部分使用較慢采樣率，如果沒有變化，采樣率將歸零。這正是事件傳感器的作用。每個像素獨立行動，通過對入射光量的變化反應(yīng)來決定自身采樣的時間。整個采樣過程不再像傳統(tǒng)攝像機那樣受固定時鐘控制，而是由場景中的細微變化調(diào)整的。

三組示意圖。第一組顯示黑色背景上的多個紅點，代表球的運動軌跡；第二組將第一組圖像按時間序列展開，展示傳統(tǒng)攝像機需要多幀才能捕捉到完整運動；第三組示意圖顯示事件傳感器記錄的球在 X-Y - 時間三維空間中的運動路徑。對于僅需追蹤紅球而無需關(guān)注場景其他部分的應(yīng)用而言，無需記錄或傳輸每幀中的所有數(shù)據(jù)。

讓我們深入探討一下游戲機制。當(dāng)給定像素的光強超過預(yù)設(shè)閾值時，系統(tǒng)會以微秒級精度記錄時間。該時間戳與像素在傳感器陣列中的坐標(biāo)形成一條描述“事件”的消息，傳感器以數(shù)字?jǐn)?shù)據(jù)包形式傳輸。每個像素都可以做到這一點，無需外部干預(yù)，比如時鐘信號，且獨立于其他像素。這種架構(gòu)不僅對于準(zhǔn)確捕捉快速動作至關(guān)重要，對于提升圖像的動態(tài)范圍也至關(guān)重要。由于每個像素是獨立的，場景中最低的光線和最亮的光線會同時被記錄;沒有過曝或欠曝的問題。

像素結(jié)構(gòu)示意圖，包含光電二極管和相對變化檢測器，右側(cè)插圖展示變化檢測器如何根據(jù)像素光照的對數(shù)變化定義事件。事件傳感器中的每個像素均獨立工作，僅當(dāng)照射到它的光變化超過預(yù)設(shè)值時才發(fā)送信息。

配備事件傳感器的攝像機輸出的并非圖像序列，而是基于場景變化生成并傳輸?shù)倪B續(xù)單個像素數(shù)據(jù)流。在許多場景中，大多數(shù)像素并不經(jīng)常變化，因此與傳統(tǒng) CMOS 成像相比，事件傳感器有望節(jié)省能耗 —— 尤其是考慮到數(shù)據(jù)傳輸和處理的能耗時。對于許多任務(wù)，我們的傳感器功耗僅為傳統(tǒng)傳感器的十分之一；某些任務(wù)（如智能眼鏡的眼動追蹤）的傳感和處理能耗甚至更低。以網(wǎng)球場景為例，由于變化僅占整個視野的一小部分，與傳統(tǒng)傳感器相比，事件傳感器需要傳輸和處理的數(shù)據(jù)量極小，優(yōu)勢極為顯著：可能高達五到六個數(shù)量級。

事件傳感器的實際應(yīng)用

想象未來事件傳感器的出現(xiàn)，可以考慮任何需要快速、節(jié)能且數(shù)據(jù)高效、能效高光環(huán)境的相機的應(yīng)用。例如，它們非常適合邊緣設(shè)備：通常體積小、電力受限、佩戴貼身（如智能環(huán)），或遠離高帶寬、強力網(wǎng)絡(luò)連接（如畜牧監(jiān)測器）的聯(lián)網(wǎng)設(shè)備。

事件傳感器的低功耗和檢測細微運動的能力也使其非常適合人機界面——例如用于智能手表、增強現(xiàn)實眼鏡、游戲手柄和快餐店數(shù)字自助終端的眼球和凝視追蹤、唇讀和手勢控制系統(tǒng)。

在家庭領(lǐng)域，工程師正在測試?yán)夏耆私】当O(jiān)測器中的墻掛事件傳感器，以檢測人員跌倒。在這里，事件傳感器還有另一個優(yōu)勢——它們不需要捕捉完整圖像，只需捕捉墜落事件。這意味著顯示器只發(fā)送警報，使用攝像頭不會引發(fā)通常的隱私問題。

事件傳感器還可以補充傳統(tǒng)的數(shù)碼攝影。這類應(yīng)用仍處于開發(fā)階段，但研究人員已證明，當(dāng)事件傳感器與手機攝像頭配合使用時，關(guān)于場景內(nèi)運動的額外信息以及事件傳感器提供的高低光照，可以用來去除原始圖像中的模糊，增加清晰度， 或者提升動態(tài)范圍。

事件傳感器也可以用于消除反方向的運動：目前，攝像機依賴機電穩(wěn)定技術(shù)來保持?jǐn)z像機的穩(wěn)定。事件傳感器數(shù)據(jù)可以算法地實時生成穩(wěn)定圖像，即使相機在晃動。而且由于事件傳感器以微秒級的間隔記錄數(shù)據(jù)，速度快于最快的CCD或CMOS圖像傳感器，因此也可以填補傳統(tǒng)視頻捕捉幀之間的空白。這可以有效地將幀率從每秒數(shù)十幀提升到數(shù)萬幀，從而在錄制結(jié)束后實現(xiàn)超慢動作點播視頻。該技術(shù)的兩個明顯應(yīng)用是幫助體育賽事裁判在比賽結(jié)束后立即解決問題，以及幫助當(dāng)局重建交通事故的細節(jié)。

與此同時，眾多早期發(fā)明者正在開發(fā)事件傳感器在太空態(tài)勢感知中的應(yīng)用，包括衛(wèi)星和太空碎片追蹤。他們還在研究事件傳感器在生物應(yīng)用中的應(yīng)用，包括微流控分析與流動可視化、流式細胞測量以及細胞治療中的污染檢測。

但目前，事件傳感器的工業(yè)應(yīng)用最為成熟。公司已將其應(yīng)用于飲料盒生產(chǎn)線的質(zhì)量控制、激光焊接機器人和物聯(lián)網(wǎng)設(shè)備。開發(fā)者也在研究利用事件傳感器計數(shù)高速輸送帶上的物體，為工業(yè)機器人提供視覺反饋控制，并對設(shè)備進行無接觸振動測量，用于預(yù)測性維護。

事件傳感器的數(shù)據(jù)挑戰(zhàn)

技術(shù)能力仍有提升空間。最大的挑戰(zhàn)之一是傳感器產(chǎn)生的數(shù)據(jù)事件類型。機器視覺系統(tǒng)使用設(shè)計用于解釋靜態(tài)場景的算法。事件數(shù)據(jù)具有時間性質(zhì)，能夠有效捕捉機械臂的擺動或齒輪的旋轉(zhuǎn)，但這些獨特的數(shù)據(jù)特征并不容易被現(xiàn)有的機器視覺系統(tǒng)解析。

光強度隨時間變化的曲線圖，觸發(fā)事件傳感器發(fā)送信號。工程師可校準(zhǔn)事件傳感器，僅當(dāng)光子數(shù)量變化超過預(yù)設(shè)值時才發(fā)送信號。這樣一來，傳感器傳輸?shù)臄?shù)據(jù)更少，但相關(guān)性更高。在該圖表中，僅當(dāng)強度變化（黑色曲線）超過特定值（水平虛線）時，才會觸發(fā)事件信息（藍色或紅色，取決于變化方向）。注意：Y 軸為對數(shù)坐標(biāo)，因此檢測到的變化為相對變化。

這正是 Prophesee 的切入點。我們公司提供的產(chǎn)品和服務(wù)，幫助其他公司更輕松地將事件傳感器技術(shù)集成到其應(yīng)用中。為此，我們通過三種方式簡化時間數(shù)據(jù)與現(xiàn)有系統(tǒng)的融合：設(shè)計具有行業(yè)標(biāo)準(zhǔn)接口和數(shù)據(jù)協(xié)議的新一代事件傳感器；格式化數(shù)據(jù)，使其能被機器視覺算法或神經(jīng)網(wǎng)絡(luò)高效利用；提供持續(xù)運行的低功耗模式。基于此，去年我們與芯片制造商 AMD 合作，使我們的 Metavision HD 事件傳感器能夠與 AMD 的 Kria KV260 視覺 AI 開發(fā)套件配合使用 —— 該套件包含硬件和軟件，方便開發(fā)人員測試其事件傳感器應(yīng)用。Prophesee 與 AMD 的開發(fā)平臺解決了部分?jǐn)?shù)據(jù)挑戰(zhàn)，使開發(fā)人員能更自由地探索這種新型相機的應(yīng)用潛力。

我們及其他行業(yè)參與者發(fā)現(xiàn)，管理事件傳感器數(shù)據(jù)的一種有效方法是借鑒當(dāng)今機器學(xué)習(xí)架構(gòu)中受生物啟發(fā)的神經(jīng)網(wǎng)絡(luò)。例如，脈沖神經(jīng)網(wǎng)絡(luò)（SNN）比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)更接近生物神經(jīng)元 —— 具體而言，SNN 僅在檢測到離散的 “脈沖” 活動時傳輸信息，而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)處理連續(xù)值。因此，SNN 提供了一種基于事件的計算方法，與事件傳感器捕捉場景動態(tài)的方式高度匹配。

另一種備受關(guān)注的神經(jīng)網(wǎng)絡(luò)是圖神經(jīng)網(wǎng)絡(luò)（GNN）。這類神經(jīng)網(wǎng)絡(luò)接受圖作為輸入數(shù)據(jù)，適用于任何以節(jié)點及其連接構(gòu)成的網(wǎng)狀結(jié)構(gòu)表示的數(shù)據(jù) —— 例如，社交網(wǎng)絡(luò)、推薦系統(tǒng)、分子結(jié)構(gòu)以及生物和數(shù)字病毒的行為。巧合的是，事件傳感器生成的數(shù)據(jù)也可表示為三維圖（包含兩個空間維度和一個時間維度）。GNN 可通過提取特征（如二維圖像、不同類型的物體、物體的方向和速度估計，甚至身體手勢），有效壓縮事件傳感器生成的圖數(shù)據(jù)。我們認為，GNN 在功耗、連接性和處理能力有限的基于事件的邊緣計算應(yīng)用中尤為有用。目前，我們正致力于將 GNN 幾乎直接集成到事件傳感器中，并最終將事件傳感器和 GNN 處理模塊整合到同一毫米級芯片中。

未來，我們期望看到機器視覺系統(tǒng)遵循自然界的成功策略：在恰當(dāng)?shù)臅r間捕捉恰當(dāng)?shù)臄?shù)據(jù)，并以最高效的方式處理。最終，這種方法將讓我們的機器以全新的方式感知更廣闊的世界，這對人類和機器而言都是雙贏。