概述

在使用未集成 ISP 的攝像頭模組進(jìn)行系統(tǒng)開(kāi)發(fā)時(shí)，ISP（Image Signal Processor，圖像信號(hào)處理器）調(diào)試是決定成像質(zhì)量的核心環(huán)節(jié)。ISP 作為相機(jī)系統(tǒng)的"大腦"，負(fù)責(zé)對(duì)前端圖像傳感器輸出的原始信號(hào)進(jìn)行后期處理。由于硬件物理特性的局限性以及人眼視覺(jué)感知的差異性，必須通過(guò)去卷積、校正、增強(qiáng)等算法流水線，使相機(jī)最終輸出的圖像在亮度、色彩、清晰度等方面達(dá)到最優(yōu)效果。本文基于米爾RK3576開(kāi)發(fā)板進(jìn)行MIPI Camera ISP調(diào)試，為開(kāi)發(fā)者提供圖像信號(hào)處理器調(diào)試指南。

ISP調(diào)試的必要性

ISP 調(diào)試的根本目的在于解決傳感器、鏡頭等物理器件的缺陷，并還原符合人眼感知的真實(shí)場(chǎng)景。具體體現(xiàn)在以下三個(gè)方面：

1.彌補(bǔ)傳感器的物理缺陷

o   光譜響應(yīng)差異：圖像傳感器的光譜響應(yīng)曲線（QE）難以與人眼的視覺(jué)響應(yīng)函數(shù)完全匹配，需通過(guò)色彩校正矩陣（CCM）進(jìn)行適配。

o    噪點(diǎn)與壞點(diǎn)：傳感器在暗光下因半導(dǎo)體熱運(yùn)動(dòng)易產(chǎn)生暗電流噪聲，且可能存在固有壞點(diǎn)。需通過(guò)黑電平校正（BLC）、壞點(diǎn)校正（DPC）及降噪模塊進(jìn)行處理。

2.糾正鏡頭的光學(xué)畸變

o    鏡頭陰影：受鏡頭光學(xué)特性影響，畫(huà)面邊緣進(jìn)光量少于中心，導(dǎo)致四角偏暗，需通過(guò)鏡頭陰影校正進(jìn)行補(bǔ)償。

o    幾何畸變：鏡頭物理形狀會(huì)導(dǎo)致圖像變形，需通過(guò)幾何校正算法修正。

3.還原真實(shí)的色彩環(huán)境

o    人眼具有"顏色恒常性"，能自動(dòng)適應(yīng)光源變化，而傳感器不具備此特性，極易產(chǎn)生色偏。通過(guò)自動(dòng)白平衡（AWB）算法校正色溫偏差，確保在不同光源下白色還原準(zhǔn)確，從而與人眼感知保持一致。

ISP調(diào)試的分類(lèi)

ISP 調(diào)試通常分為兩個(gè)維度，以兼顧科學(xué)基準(zhǔn)與視覺(jué)審美：

●   客觀調(diào)試：基于標(biāo)準(zhǔn)光源箱、色卡、圖卡等設(shè)備，通過(guò)量化指標(biāo)（如信噪比、色彩誤差、清晰度等）建立科學(xué)的成像基準(zhǔn)，確保系統(tǒng)參數(shù)的準(zhǔn)確性。

●   主觀調(diào)試：側(cè)重于"人眼感知"與"特定偏好"。在客觀基準(zhǔn)之上，根據(jù)項(xiàng)目需求或視覺(jué)審美，對(duì)色彩風(fēng)格、銳化強(qiáng)度等進(jìn)行微調(diào)，使成像效果更具質(zhì)感。

調(diào)試準(zhǔn)備

1.硬件準(zhǔn)備：米爾基于RK3576開(kāi)發(fā)板、專(zhuān)業(yè)ISP調(diào)試燈箱，攝像頭模組

2.攝像頭資料準(zhǔn)備

為確保調(diào)試方向正確，需提前準(zhǔn)備以下關(guān)鍵文檔與參數(shù)：

3.ISP調(diào)試實(shí)驗(yàn)設(shè)備

搭建標(biāo)準(zhǔn)化的光學(xué)實(shí)驗(yàn)環(huán)境是保證標(biāo)定精度的前提：

2遮光器具：鏡頭蓋或遮光黑布，用于黑電平（BLC）標(biāo)定，阻斷外部光線干擾。

2標(biāo)準(zhǔn)光源：配備至少 7 種標(biāo)準(zhǔn)光源（HZ、A、CWF、TL84、D50、D65、D75）及可調(diào)亮度光源，用于 AWB、CCM 等模塊在不同色溫下的標(biāo)定。

2勻光片：用于鏡頭陰影校正（LSC）標(biāo)定，使光源均勻照射傳感器。

2愛(ài)色麗24色色卡：用于色彩校正矩陣（CCM）及自動(dòng)白平衡（AWB）模塊的標(biāo)定。

2灰度漸變卡：用于噪聲分析、動(dòng)態(tài)范圍及 Gamma 曲線標(biāo)定。

2棋盤(pán)格標(biāo)定板：用于幾何畸變校正（LDC）參數(shù)提取。

環(huán)境搭建

1.buildroot 系統(tǒng)

下載 Linux 對(duì)應(yīng)的 rkaiq_tool_server，并推送到板端運(yùn)行

運(yùn)行 rkaiq_tool_server，無(wú)報(bào)錯(cuò)，輸出以下類(lèi)似打印

Linux,Create domain socket success.

Found single camera node: /tmp/UNIX.domain0

Connect to /tmp/UNIX.domain0

rkaiq_tool_server connect AIQ success

lo IP: 127.0.0.1

eth0 IP: 192.168.1.173

2.Windows PC端

1.下載 RKISPTuner 工具，并打開(kāi)運(yùn)行

RKISPTuner主界面

3.連接與驗(yàn)證

■   確認(rèn)米爾RK3576開(kāi)發(fā)板與 PC 網(wǎng)絡(luò)互通（ping 測(cè)試板端 IP）

■   在 RKISPTuner 中填入板端 IP 地址，點(diǎn)擊"連接"

■   連接成功后，工具界面左側(cè)可看到實(shí)時(shí)預(yù)覽畫(huà)面

若連接失敗，檢查：

1.rkaiq_tool_server 是否正常運(yùn)行

2.防火墻是否放行對(duì)應(yīng)端口

3.板端 IP 是否正確（通過(guò) ifconfig 確認(rèn)）

攝像頭標(biāo)定

ISP標(biāo)定流程順序

ISP 各處理模塊之間存在依賴(lài)關(guān)系（如 BLC 處理會(huì)在 LSC 之前），錯(cuò)誤的參數(shù)將級(jí)聯(lián)影響后續(xù)模塊。因此，調(diào)試工作必須遵循以上的順序：

■   順序原則：嚴(yán)格按照標(biāo)定流程執(zhí)行（通常為：BLC -> LSC -> AWB -> CCM -> 其他），不要隨意跳過(guò)或顛倒步驟。

■   結(jié)果驗(yàn)證：每完成一個(gè)模塊的標(biāo)定，須立即確認(rèn)參數(shù)效果。若發(fā)現(xiàn)數(shù)據(jù)異常，需重新標(biāo)定該模塊，避免錯(cuò)誤參數(shù)污染后續(xù)調(diào)試環(huán)節(jié)。

IQ 文件建議直接從 /etc/iqfiles/ 找個(gè)相近進(jìn)行拷貝修改，減少工作量。直接使用 RKISP Tuner 生成 IQ json 文件，工作量較大

1.BLC（黑電平校正）標(biāo)定

BLC 是整個(gè) ISP 流水線的第一步，其作用是消除傳感器的暗電流偏移，為后續(xù)模塊建立正確的信號(hào)基準(zhǔn)。

■   遮蓋鏡頭

使用鏡頭蓋或遮光黑布完全遮住鏡頭，確保無(wú)光線進(jìn)入傳感器。這是標(biāo)定黑電平的關(guān)鍵前提。

■   采集 RAW 數(shù)據(jù)

在 RKISP Tuner 中切換到 BLC 模塊頁(yè)面，點(diǎn)擊"Capture"采集當(dāng)前黑幀 RAW 數(shù)據(jù)。建議在多個(gè)增益檔位（1x、2x、4x、8x、16x）下分別采集，以獲取不同增益下的黑電平偏移值。

■   計(jì)算并寫(xiě)入 BLC 值

工具會(huì)自動(dòng)統(tǒng)計(jì)各通道（R/Gr/Gb/B）的黑電平均值。將計(jì)算結(jié)果寫(xiě)入 IQ 文件對(duì)應(yīng)字段。一般要求各通道黑電平值在 50~65 之間（10bit RAW），且 R/Gr/Gb/B 四通道差異不超過(guò) 2。

?? BLC 值偏大會(huì)導(dǎo)致畫(huà)面整體偏暗且動(dòng)態(tài)范圍減小，偏小則暗部出現(xiàn)彩色噪點(diǎn)。需精確標(biāo)定。

2.LSC（鏡頭陰影校正）標(biāo)定

LSC 用于補(bǔ)償鏡頭中心和邊緣進(jìn)光量差異導(dǎo)致的亮度不均勻和色偏問(wèn)題。

■   架設(shè)勻光環(huán)境

將勻光片貼在標(biāo)準(zhǔn)光源箱上，確保照射到鏡頭的光線均勻柔和，無(wú)明顯熱點(diǎn)和暗角。

■   采集勻光圖像

在每種標(biāo)準(zhǔn)光源下（至少 D65、A、CWF、TL84）分別采集勻光圖像。在 RKISP Tuner 中切換至 LSC 模塊頁(yè)面，點(diǎn)擊"Capture"進(jìn)行采集。

■  生成 LSC 表

工具將自動(dòng)計(jì)算各光源下的增益補(bǔ)償表（Gain Table），補(bǔ)償畫(huà)面邊緣的亮度衰減。確認(rèn)生成結(jié)果后，保存至 IQ 文件。

? 驗(yàn)證方法：LSC 校正后，拍攝純白墻壁或勻光片，檢查畫(huà)面四角與中心亮度差異應(yīng)在 5% 以?xún)?nèi)。

3.AWB（自動(dòng)白平衡）標(biāo)定

AWB 模塊用于在不同色溫光源下準(zhǔn)確還原白色，消除色偏。

■   多色溫采集

在標(biāo)準(zhǔn)光源箱的各色溫光源下（HZ、A、CWF、TL84、D50、D65、D75），分別拍攝 24 色色卡。

■   統(tǒng)計(jì) WB Gain

在 RKISP Tuner 的 AWB 模塊中，框選色卡白色區(qū)域，工具將自動(dòng)統(tǒng)計(jì) R/G/B 三通道的增益比（WB Gain），并生成不同色溫下的白平衡增益曲線。

■   寫(xiě)入 IQ 文件

將各色溫下的 WB Gain 值寫(xiě)入 IQ 文件的 AWB 配置段。確認(rèn)白色區(qū)域 R/G/B 三通道比值接近 1:1:1。

4.CCM（色彩校正矩陣）標(biāo)定

CCM 通過(guò) 3×3 矩陣將傳感器的色彩空間映射到 sRGB 標(biāo)準(zhǔn)色彩空間，修正光譜響應(yīng)差異。

■   色卡采集

在完成 AWB 標(biāo)定后，在各標(biāo)準(zhǔn)光源下拍攝 24 色色卡。確保色卡充滿畫(huà)面 60% 以上區(qū)域。

■   計(jì)算 CCM 矩陣

在 RKISP Tuner 的 CCM 模塊中，框選色卡區(qū)域，工具將自動(dòng)計(jì)算 3×3 校正矩陣。關(guān)注 ΔE（色差）指標(biāo)，一般要求平均 ΔE < 5，最大 ΔE < 10。

■   多色溫矩陣融合

為適應(yīng)不同光源場(chǎng)景，需在多種色溫下標(biāo)定 CCM，并通過(guò)插值算法實(shí)現(xiàn)色溫間的平滑過(guò)渡。將各色溫下的 CCM 矩陣寫(xiě)入 IQ 文件對(duì)應(yīng)段落。

?上篇小結(jié)：至此完成了 BLC、LSC、AWB、CCM 的客觀標(biāo)定，建立了科學(xué)的成像基準(zhǔn)。下篇將繼續(xù)基于米爾RK3576開(kāi)發(fā)板深入 AE、3DNR、銳化、Gamma、3D LUT 等主觀調(diào)試，以及 IQ 文件燒錄、常見(jiàn)問(wèn)題排查，最終完成整個(gè) ISP 調(diào)試流程。