深度感知是現(xiàn)實(shí)機(jī)器視覺應(yīng)用中不可或缺的關(guān)鍵功能。安森美 (onsemi) 的Hyperlux? ID 間接飛行時(shí)間 (iToF) 深度傳感器，憑借更少、更小、更簡(jiǎn)單的器件，即可實(shí)現(xiàn)高精度深度感知。本系列文章將深度拆解安森美Hyperlux ID 技術(shù)及應(yīng)用。

第一篇推文我們介紹了

機(jī)器視覺基礎(chǔ)知識(shí)

本文將深入講解iToF 技術(shù)。

 激光雷達(dá)和直接飛行時(shí)間

圖 1. 激光雷達(dá)傳感技術(shù)演示畫面。在右側(cè)“20 m”標(biāo)注的左側(cè)位置，可觀測(cè)到一名行人產(chǎn)生的橙色反射信號(hào)。當(dāng)行人向標(biāo)有“40”的測(cè)距標(biāo)識(shí)移動(dòng)時(shí)，其反射信號(hào)將向圖表的右上方移動(dòng)，且顏色會(huì)變?yōu)榫G色，以表示距離正在增加。

如您所知，激光雷達(dá)是將雷達(dá)原理應(yīng)用于光波領(lǐng)域的技術(shù)。它通過分析物體反射的光波波形，測(cè)量激光發(fā)射點(diǎn)與被測(cè)物體之間的深度和距離。在地質(zhì)勘探和衛(wèi)星遙感應(yīng)用中，激光雷達(dá)通常依靠 GPS 來實(shí)現(xiàn)精確定位。該技術(shù)的工作原理與聲吶頗為相似：聲吶通過捕捉反射的聲波來測(cè)算發(fā)射器與物體的距離，而激光雷達(dá)則將激光脈沖與雷達(dá)原理相結(jié)合來完成測(cè)距。

圖 2.激光雷達(dá)測(cè)距原理示意圖

在各類激光雷達(dá)組件中，固態(tài) SiPM 的功耗最低，同時(shí)還具備極強(qiáng)的抗電磁干擾與抗光學(xué)噪聲能力。即便是在 60 米外、反射率僅約 10% 的未授權(quán)移動(dòng)物體，也能被它輕易識(shí)別；這一特性可為安防系統(tǒng)預(yù)留充足的響應(yīng)時(shí)間，及時(shí)封鎖入口并發(fā)出警報(bào)。

圖 3. 摘自《參考太陽光譜輻照度標(biāo)準(zhǔn)表》(ASTM International)

上圖展示了太陽輻射在地球大氣層內(nèi)（深色）與大氣層外（淺色）被探測(cè)到的光子相對(duì)數(shù)量。隨著波長(zhǎng)增加，在近紅外 (NIR) 波段的 905 nm 與 940 nm 處，以及短波紅外 (SWIR) 波段的 1550 nm 處，光子數(shù)量均出現(xiàn)了斷崖式下降。太陽光中這些波段的光子占比極低，因此非常適合用于激光雷達(dá)。安森美大多數(shù)客戶的應(yīng)用場(chǎng)景均集中在 905-940 nm 波段，該波段同時(shí)也是激光雷達(dá)高性價(jià)比組件的主要覆蓋區(qū)間。

當(dāng)應(yīng)用場(chǎng)景僅需通過光波判斷遠(yuǎn)處是否存在物體時(shí)，單點(diǎn)深度感知方案具有顯著實(shí)用性與高效性。氣象學(xué)家或地質(zhì)學(xué)家可能會(huì)關(guān)注激光雷達(dá)反射波的光譜分析能力，而在日常工業(yè)應(yīng)用中，當(dāng)系統(tǒng)僅需判斷前方有無物體這種二元狀態(tài)時(shí)，SiPM 無疑是光傳感器件的出色選擇。

Hyperlux ID 與間接飛行時(shí)間技術(shù)

圖4.安森美深度傳感器

基于 CMOS 的圖像傳感器在深度感知范圍上存在局限，其無歧義測(cè)距范圍在常規(guī)條件下受限于單次光調(diào)制周期。該上限閾值 Dmax 的計(jì)算公式如下：

其中，常數(shù) c 代表光速，fm 代表調(diào)制光頻率。例如，如果傳感器采用 60 MHz 的單頻調(diào)制方案，其無歧義測(cè)距范圍上限僅為 2.5 米。

Hyperlux ID 專為工廠車間和包裝流水線等場(chǎng)景設(shè)計(jì)。在這類場(chǎng)景中，機(jī)器人系統(tǒng)需要精準(zhǔn)測(cè)量機(jī)械臂與食品等易損物料表面之間的距離。

圖 5.iToF 深度測(cè)量原理流程

在上述應(yīng)用環(huán)境中，采用間接飛行時(shí)間技術(shù)進(jìn)行深度測(cè)量，會(huì)更簡(jiǎn)便、更具實(shí)用性。與激光雷達(dá)類似，iToF 技術(shù)同樣會(huì)比較反射光與發(fā)射光，但區(qū)別在于，iToF 通過推導(dǎo)計(jì)算來獲取距離信息。

Hyperlux ID 以 940 nm 紅外激光二極管作為光源，借助全局快門技術(shù)，一次性完成所有入射光的采集。相較之下，卷簾快門的工作方式是自上而下逐行曝光傳感器，類似于傳統(tǒng)的機(jī)械焦平面快門。這種快門模式雖能滿足消費(fèi)級(jí)數(shù)碼相機(jī)的使用需求，但即便是 iToF 技術(shù)，也無法完全彌補(bǔ)卷簾快門的性能缺陷。

Hyperlux ID 的全局快門技術(shù)支持同時(shí)完成八次曝光（兩種頻率各對(duì)應(yīng)四個(gè)相位），并將所有曝光數(shù)據(jù)整合存儲(chǔ)為單幀圖像。這樣可以幾乎完全消除運(yùn)動(dòng)引起的相位誤差。

圖 6.iToF 發(fā)射光與接收光相位差波形示意圖

當(dāng)激光等恒定調(diào)制光源發(fā)出的光線經(jīng)物體反射后，反射光與發(fā)射光之間會(huì)產(chǎn)生微小的相位差。傳感器通過相位差的大小來判斷物體的距離，但具體距離數(shù)值需要通過數(shù)學(xué)運(yùn)算推導(dǎo)得出。具體而言，通過評(píng)估反射光在 0°、90°、180° 和 270° 四個(gè)象限邊緣處的波幅，計(jì)算出接收光波與調(diào)制光波之間的相位差。該相位差 ?Φ可通過以下雙參數(shù)反正切公式計(jì)算得出：

在相位差 ?Φ、激光調(diào)制頻率 fm 和光速 c 均為已知值的情況下，計(jì)算每個(gè)采樣點(diǎn)的距離 d 就會(huì)變得十分簡(jiǎn)單，如下所示：

以上便是間接飛行時(shí)間技術(shù)從包含相位偏移的圖像數(shù)據(jù)中推導(dǎo)距離數(shù)據(jù)的方法。該技術(shù)之所以適用于深度感知應(yīng)用，是因?yàn)槠渫ㄟ^全局快門實(shí)現(xiàn)了相位數(shù)據(jù)的并行采集，而不是通過移動(dòng)激光器進(jìn)行串行掃描。不過，使用單個(gè)調(diào)制器時(shí)，iToF 技術(shù)僅適用于極短距離的測(cè)量。安森美通過一項(xiàng)名為智能 iToF 的創(chuàng)新專利技術(shù)，在一定程度上克服了這些限制。

Hyperlux ID 結(jié)合智能 iToF 技術(shù)如何攻克實(shí)際應(yīng)用挑戰(zhàn)

Hyperlux ID 是一款基于 iToF 技術(shù)實(shí)現(xiàn)深度信息感知的圖像傳感器，因此屬于深度傳感器。與垂直腔面發(fā)射激光器 (VCSEL) 等主動(dòng)照明系統(tǒng)相結(jié)合，Hyperlux ID 能夠同時(shí)計(jì)算 VCSEL 激光與自身發(fā)射光的反射光的相位偏移，并在該過程中對(duì)兩種光源的光強(qiáng)進(jìn)行調(diào)制處理。

通過在單次曝光時(shí)間內(nèi)切換兩種不同的頻率，傳感器的無歧義測(cè)距上限 Dmax 得以提升，其計(jì)算方式采用了更小的分母參數(shù)——具體而言，就是這兩種頻率的最大公約數(shù) (GCD)：

圖 7.AF0130 傳感器室內(nèi) / 戶外深度測(cè)試圖

在安森美評(píng)估套件的測(cè)試中，AF0130 表現(xiàn)優(yōu)異：在熒光燈照明的淺色中性色調(diào)走廊環(huán)境下，可清晰識(shí)別 30 米處反射率為 70% 的目標(biāo)物體；在霧霾天氣的陰影環(huán)境中，即便光照強(qiáng)度高達(dá) 20,000 勒克斯，仍能清晰識(shí)別 20 米處的同規(guī)格目標(biāo)物體。在偽彩色深度圖中，圖像的色彩與反射物體的大致距離相對(duì)應(yīng)。

更精準(zhǔn)的深度計(jì)算方案

AF0130 內(nèi)置嵌入式深度處理 ASIC，可在片上處理所有深度感知運(yùn)算。對(duì)于傾向于使用自研深度處理算法的客戶，安森美提供了 AF0131。其實(shí)時(shí)處理功能可讓深度數(shù)據(jù)即時(shí)投入應(yīng)用，滿足機(jī)器人定位與運(yùn)動(dòng)控制、避障、安防預(yù)警和人體手勢(shì)識(shí)別等功能的需求。

為提高深度計(jì)算精度，智能 iToF 技術(shù)通過四幀獨(dú)立采集的圖像（每幀對(duì)應(yīng)波形的一個(gè) 90 度相位），估算每個(gè)像素的反射率。借助這些反射率數(shù)據(jù)，AF0130 能夠?qū)⑺膸瑘D像的數(shù)據(jù)整合為一幀，生成深度圖。

圖 8. 左：?jiǎn)螏瑔紊珳y(cè)試圖像。
 右：基于四幀同步采集圖像生成的  0.2 米至 12.0 米深度圖

對(duì)于深度圖中的每個(gè)給定點(diǎn)，像素響應(yīng)均與該給定點(diǎn)處物體的反射率相關(guān)，反射率 Rpix 可通過以下公式計(jì)算：

其中，ρ 代表像素反射率，D 代表圖像傳感器與該像素之間的距離，而 A 代表該點(diǎn)受到的環(huán)境光強(qiáng)度。物體的反射率反映了物體產(chǎn)生的光信號(hào)強(qiáng)度。可視化軟件能夠以顏色來表示相對(duì)深度——較近的物體位于光譜中偏向紅色的區(qū)域，較遠(yuǎn)的物體則位于光譜另一端的藍(lán)紫色區(qū)域。

未完待續(xù)，后續(xù)推文將介紹強(qiáng)光環(huán)境下的高精度深度感知、消除運(yùn)動(dòng)偽影等。