前言
在智慧化技術快速發展的背景下，圖像數據的採集與處理已逐漸成為自動駕駛、工業等領域的關鍵技術之一，也因此高品質圖像數據的採集與演算法整合測試，成為確保系統性能與可靠性的關鍵。 隨著技術不斷進步，對圖像數據的採集、處理和分析的需求日益增長，不僅要求我們擁有高性能的相機硬體，也需要能夠高效整合並測試各種演算法。
我們針對這些挑戰，探索並提出了一種多源相機數據獲取與演算法整合測試方案，能因應不同應用場景下對圖像採集與演算法測試的多樣化需求，確保數據準確性與演算法有效性。
圖一：相機基本結構
相機組成
相機一般由鏡頭（Lens）、圖像感測器（Image Sensor）、圖像訊號處理器（Image Signal Processor, ISP），以及介面組成。
- 圖像感測器可將光子轉換為電訊號，其圖元數與尺寸直接影響畫面清晰度與感光能力，使其成為影像品質優劣的核心因素。
- ISP（圖像訊號處理器）能將感測器捕捉到的原始數據轉換為高品質數位圖像，並完成去馬賽克、白平衡、色彩校正等處理，確保輸出結果的可用性。
- 介面則作為相機與外部設備之間的資訊交流通道，負責數據傳輸、供電與控制訊號的輸出，在整體系統運作中同樣不可或缺。
在實際應用中，常見的相機類型包括 USB 介面相機、乙太網介面相機和車載 Fakra 相機等。每種相機都具備不同的特點與應用場景，例如：USB 免驅相機以隨插即用、便攜性見長；乙太網介面相機擅長高幀率與網路連接；車載相機則強調高穩定性與長距離傳輸能力。
由於不同應用場景（如自動駕駛、工業檢測、交通監控等）對圖像解析度、幀率、傳輸距離以及演算法部署效果的需求各異，因此需要多種不同類型的相機來滿足數據獲取與演算法測試的多樣化需求。
多源相機採集與測試方案
在多源相機的整合過程中，我們通常先為每種相機配置解析度、幀率等關鍵參數，再將不同來源的影像整合到演算法流程中進行即時測試與分析，藉此確保各路影像都能達到預期品質。
在實際運用過程中，每種相機通常都有對應的 SDK 包，例如 USB 免驅相機的 V4L2 API。但經常會碰到以下問題：
- 如何有效整合各種相機，並同時執行數據採集與即時視覺化？
- 每種相機的多個設備該如何快速同時驅動並採集？
- 在車端應用中，如何為不同類型相機打上正確的時間戳記？
為了因應這些挑戰，我們整合了宏虹 BRICKplus/BRICK2 硬體採集平臺與 ADTF 軟體框架，使得多源相機能在單一系統內高效協作，並在測試環境中快速完成數據獲取與演算法驗證。
圖二：BRICKplus/BRICK2
圖三：ADTF軟體
軟體方面，採用模組化的外掛程式設計模式，整合了 USB 免驅相機、工業面陣相機和 iDS 乙太網相機等 SDK，並對演算法元件進行介面封裝與測試結果輸出。
圖四：軟體框架
對於不同類型的感測器，相機採集流程往往包括打開設備、設置參數與格式、申請記憶體緩衝區、驅動視頻流、圖像迴圈採集等步驟，並可透過模組化設計將這些流程抽象化為相機元件。 這種架構讓開發者能以視覺化方式快速整合多個相機，並同時進行數據存儲或後續視覺化呈現。若需確保多路相機在時間軸上的同步性，也可採用硬體或軟體時間同步機制（如觸發訊號或 PTP），搭配鏡頭校正與多視角幾何參數的配置，能顯著提升演算法推論的精準度。
圖五：相機採集工程
圖六：相機採集工程運行
應用案例分享
在軟體介面右側的 Streaming Source Details 欄位中，點擊 Help 後，可以快速查看 Usb Camera Capture 元件的使用手冊，內容包括環境準備、元件資訊以及工程案例搭建方式。
圖七：元件使用手冊
例如，在 MV Camera Capture 元件的 Properties 欄位中，可以查看到元件配置的屬性，包括相機的掛載結點、曝光時間、幀率以及圖像採集模式。圖像採集模式可分為採集模式與灰度模式，MONO8 為灰度圖像，RGB8 為彩色圖像。
圖八：2路相機採集工程
每個 MV Camera Capture 元件都對應一個實體相機，可實現一路數據的獨立獲取與處理。
圖九：2路相機採集工程運行
透過將相機採集的數據與演算法元件結合，即可完成演算法的測試。例如，結合 Usb Camera Capture 元件、Face Detection 元件、Qt5 Video Display 元件與 Qt5 Meida Description Display，即可快速搭建單路相機的採集與人臉識別演算法測試工程。
圖十：人臉識別演算法工程
圖十一：人臉識別演算法工程運行
結語
多源相機數據獲取與演算法整合測試方案能大幅提升圖像採集與演算法開發的效率，讓開發者更快速地驗證功能並縮短開發週期。 透過宏虹的 BRICKplus/BRICK2 硬體採集平臺與 ADTF 軟體框架結合，不僅能快速整合多源相機並完成數據採集，也能確保演算法測試的準確性與即時性。面對不斷演進的技術需求，我們將持續優化此方案，以因應更加複雜、多樣的應用場景。
