收藏!圖像傳感器開發必備工具DevWareX實操
安森美(onsemi)推出了AR0830 RGBIR以及AR0544 RGBIR sensor,廣泛應用在醫療,以及IOT智能家居應用上,那么我們怎么在安森美的DevWareX上來進行RGBIR的圖像和視頻的抓取呢?
安森美的AR2020是業界獨有SmartROI功能的2000萬像素的工業級sensor,推出以來獲得了許多客戶的青睞,用戶如何快速的來獲得所需不同ROI的sensor寄存器設定呢?別著急,讓我們逐一來進行介紹。
DevWareX中的RGB-IR顯示功能是為了支持具體RGB-IR CFA(色彩濾光片矩陣)的芯片而實現的,RGB和紅外(IR)圖像會分別顯示。
在DevWareX中,當使用RGB-IR CFA傳感器(比如AR0544 RGB-IR,AR0830 RGB-IR)進行流式傳輸時,RGB和紅外圖像會分別在不同的標簽頁中顯示,用戶可以選擇“Windows –>Tile Sub-Windows” 來并排查看這兩種圖像,如下圖所示:


RGB和紅外圖像是從原始的數據中分別插值得到的,原始數據包含R,G,B,和紅外像素的組合。
一般當DevWareX detect到sensor是RGB-IR的圖像傳感器的時候,會自動去load RGB-IR process的參數,用戶也可以手動去打開RGB-IR process的Plugin.如下路徑:工具欄? “Plug-ins” ? “RGB-IR Processing Settings”.

打開后具體的參數設置如下,一般情況下會按照不同的鏡頭濾光片信息在默認設置里面配置好,如果用戶使用不同的濾光片,請聯系onsemi FAE 來獲得正確的RGB-IR processing參數。

注意:對于RGB-IR的傳感器預覽,在未啟用RGB-IR插值處理的情況下,DevWareX中的紅外窗口顯示的是紅外線性插值,是對紅外像素進行“4倍乘法“后的全分辨率效果。
非原始數據格式保存的靜態圖片或者視頻文件(如.BMP 或者AVI)以24位RGB格式保存。對于近紅外圖像也是一樣的方式,所以紅外圖像的文件大小也是一樣的。
靜態圖像捕捉
為了在傳感器進行流式傳輸時捕捉靜態圖像,用戶可以從DevWareX工具欄中選擇“Grab”按鈕。RGB圖像和紅外圖像將以單獨的文件進行捕捉,紅外圖像的文件名將包含”-ir”,如下圖所示。
注: RAW文件格式僅保存1個文件(RGB和IR沒有單獨的文件),使用DevWareX打開時可以同時顯示兩幅圖像。

視頻錄制
RGB-IR圖像的視頻錄制與靜態圖像捕捉非常相似,用戶可以選擇“Record”按鈕或者從“Command ?Start Recording” 開始錄制視頻。
DevWareX會將RGB和紅外的視頻分別保存,用戶選擇的視頻格式可以為AVI,WMV或者MPEG4格式的文件,并在紅外圖像視頻文件名中增加“_ir”。
保存的視頻文件可以使用DevWareX打開,以便在同一視頻中播放RGB和紅外的圖像流。如下所示:

另外,DevWareX中還提供了一個C++的示例代碼 “RecordRGBIR”(C:Aptina ImagingsamplesRecordRGBIR),該示例從RGBIR傳感器創建視頻文件,該視頻將交替呈現RGB圖像和紅外圖像。此代碼示例 是使用Apbase和RGBIR4x4pipe庫的使用例子。
RGBIR4x4pipe與Apbase集成,通過軟件色彩處理流程對RGB-IR圖像流進行紅外提取,插值,以及常規的RGB圖像處理。
什么是SmartROI?
從單獨的一個圖像傳感器像素矩陣中,生成較小的圖像。縮放的圖像可以獲得完整的視場角,而裁剪的圖像則可以提供所選擇ROI的完整細節。然后使用MIPI的不同虛擬通道同時傳輸兩個圖像。這樣即保證了全視場角的overview,也獲得原始分辨率的細節,同時大大降低了數據傳輸對于帶寬的需求。
創建此寄存器計算器是為了計算和保存用戶所需要的設置,它是寄存器向導和幀率計算器的直觀替代品,用于保存AR2020寄存器設置。
以下是此獨立計算器的用戶界面:

右半部分包含可以更改以利用SmartROI功能的參數。左半部分顯示將為當前配置生成的傳感器設置信息。
左側信息:
任何藍色的目標都跟ROI1有關,同樣,任何紅色的目標都與ROI2有關。
藍色邊界框,表示縮放的圖像,為ROI1
紅色邊界框, 表示裁剪的圖像,為ROI2
在邊界框下方顯示邊界框ROI1和ROI2的左上角和右下角的坐標。
底部的文本顯示了由于SmartROI帶來的帶寬減少信息。
右側可調參數:
ROI1—設置ROI1的輸出分辨率,左側的藍色邊界框對應于ROI1,顯示輸入中覆蓋了多少陣列像素。這是一個下拉菜單,其中定義了一些預先存在的分辨率。用戶也可以輸入任何所需要的輸出分辨率。注:輸入的分辨率必須要有效,如果無效,則會設置成最接近的有效分辨率。
Center—此按鈕使ROI1對于整個像素陣列居中,基本上這將始終使得ROI1居中。
Single Channel—選擇綠色通道,這是唯一顯示的通道。
Scaler—縮放較小分辨率的圖像以覆蓋整個視場。用戶可以選擇使用滑塊或者旋鈕盒進行縮放,這控制了對原始分辨率圖像的縮放量,從而獲得較低的分辨率圖像。每個分辨率的最大縮放量參數都會自動更新。
◆旋鈕盒,1.00表示覆蓋整個視場,是最大值表示不進行縮放,注意:使用旋鈕盒時,如果手動輸入值,請按ENTER鍵以使其生效。
◆滑塊:用于縮放獲得較小分辨率圖像并覆蓋整個視場的滑塊,在這里,最左邊表示覆蓋整個視場角,最右側表示不應用縮放。
X OFFSET和Y OFFSET—ROI1的左上角X和Y的坐標,它設置輸入中的偏移量。
ROI2—與ROI1類似,這設置了ROI2的輸出分辨率。這是一個下拉菜單,其中定義了一些預先存在的分辨率。用戶也可以輸入任何所需要的輸出分辨率。注:輸入的分辨率必須要有效,如果無效,則會設置成最接近的有效分辨率。
中心—此按鈕使得ROI2相對于ROI1居中,將使得ROI2位于ROI1的中心。
X偏移和Y偏移—ROI2的左上角X和Y坐標,它設置輸入中的偏移量。
LANES:用戶可以在允許的MIPI通道數量(1,2,4,8)之間進行更改。
XMCK—時鐘頻率,注意:執行命令” 'apbase.Camera().output_clock_freq = (clock_fq)*1000000',其中clock_fq是所需的時鐘頻率。
MIPI SPEED—MIPI的運行速度,單位為Mbps
FRAME RATE,sensor運行的幀率(fps)
SAVE—此按鈕用于保存設置。
注意:在上述任何小部件中手動輸入值以應用更改時,請按ENTER鍵。
具體使用該工具的步驟(用戶需要使用AR2020 評估頭板):
讓我們如進行如下操作:
使用SmartROI獨立應用程序進行SmartROI設置,點擊“Save”,它將以.ini的格式保存所配置的寄存器值。

打開DevWareX并以任何模式(preset)啟動,我們以如下模式“5120x3840-15fps_Linear-10_MIPI-4/800Mbps“開始:


從工具欄打開“Presets”,
使用“Open”打開我們保存的.ini文件,我們將看到加載了2個presets, “Shared settings”和”Smart ROI”.

雙擊“SmartROI”,寄存器設定將會應用到芯片內去。
ROI1

ROI2

我們可以通過 “info” 信息面板來驗證應用的setting的設置。
注意:如果你使用的是自動曝光,則可能需要設置“apbase.setstate("Auto Exposure Minimum FPS", 72)”以獲得更高的幀率。如果需要使用更高的幀率,請將該值增加到120。












評論