在智慧化技術快速發展當下，圖像數據的採集與處理逐漸成為自動駕駛、工業等領域的一項關鍵技術。高品質的圖像數據採集與演算法整合測試都是確保系統性能和可靠性的關鍵。隨著技術的不斷進步，對於圖像數據的採集、處理和分析的需求日益增長，這不僅要求我們擁有高性能的相機硬體，還要求我們能夠高效地整合和測試各種演算法。
我們探索了一種多源相機數據獲取與演算法整合測試方案，能夠滿足不同應用場景下對圖像採集和演算法測試的多樣化需求，確保數據的準確性和演算法的有效性。
相機組成
相機一般由鏡頭(Lens)，圖像感測器(Image Sensor)，圖像信號處理器(Image Signal Processor, ISP)，介面組成。
圖 1、相機基本結構
- 圖像感測器：負責將光子轉化為電信號，Sensor上的圖元數量越多，清晰度就越高。圖元的尺寸越大，感光能力就越好。
- ISP：負責將感測器捕捉到的原始數據轉換為高品質的數位圖像，包括完成去馬賽克，白平衡，色彩校正等功能。
- 介面：是相機與外部設備（如電腦）之間資訊交流的通道，包括完成數據傳輸、供電和控制信號輸出等。
在實際應用中，常見的相機有USB介面相機，乙太網介面相機和車載Fakra相機等。每種相機都有其獨特的特點和應用場景。比如，USB免驅相機具備其隨插即用和便攜性的特點，乙太網介面相機則以具備高幀率和網路連接能力，車載相機具備高穩定性和長距離傳輸的能力。
由於不同的應用場景對圖像採集與演算法測試的要求各異，例如自動駕駛、工業檢測、交通監控等，它們對圖像的解析度、幀率、傳輸距離和演算法部署效果等有著不同的需求。因此，需要不同類型的相機來滿足這些多樣化的數據獲取與演算法測試需求。
多源相機採集與測試方案
多源相機的數據獲取與演算法測試，需要根據實際應用情況對各種相機進行不同的參數（比如解析度，幀率）等配置，並根據不同來來源數據有效結合演算法部分進行測試。
在實際運用過程中，可以瞭解到每種相機都對應有自己的SDK包，比如USB免驅相機V4L2 API。但常常常會遇到一些問題，比如如何有效整合每種相機，採集數據與即時視覺化？每種相機的多個設備又如何快速同時驅動採集？在車端應用場景中，如何對不同類型相機打上有效的時間戳記？
針對這些難題，我們推出一種多源相機數據獲取與演算法整合測試方案。結合康謀的BRICKplus/BRICK2硬體採集平臺與ADTF軟體框架，可以快速整合多源相機並實現數據獲取與演算法測試。
圖 2、BRICKplus/BRICK2
圖 3、ADTF軟體
軟體方面，採用模組化的外掛程式設計模式，整合了USB免驅相機，工業面陣相機和iDS乙太網相機等SDK。對演算法元件進行介面封裝和測試結果輸出。
圖4、軟體框架
對於不同類型的感測器，其數據獲取流程大體包括打開設備、設置相機參數和格式、申請記憶體緩衝區、驅動視頻流和圖像迴圈採集等步驟。透過模組化的設計理念，將每種相機的採集流程都映射成一個元件，可以有效的對其進行各種參數配置。此外，在與視覺化元件和存儲元件進行數據連接，最終可實現多相機的快速整合與視覺化採集。
圖5、相機採集工程
圖6、相機採集工程運行
應用案例分享
在軟體介面右側Streaming Source Details那欄中，可以點擊Help，可以快速查看Usb Camera Capture元件的使用手冊，包括環境準備，元件資訊以及工程案例搭建使用。
圖7、元件使用手冊
比如，在MV Camera Capture元件的Properties欄中可以查看到元件配置的屬性。可以設置相機的掛載結點，曝光時間，幀率以及圖像採集模式。其中圖像採集模式分為採集模式和灰度模式，MONO8為灰度圖像，RGB8為彩色圖像。
圖8、2路相機採集工程
每個MV Camera Capture元件都代表一個實體的相機，可以實現一路的數據獲取與處理。
圖9、2路相機採集工程運行
透過相機採集的數據與演算法元件結合，可以進行演算法的測試。比如，透過整合Usb Camera Capture元件、Face Detection元件、Qt5 Video Display元件和Qt5 Meida Description Display，可以快速實現一路相機採集與演算法測試工程。
圖10、人臉識別演算法工程
圖11、人臉識別演算法工程運行
結語
多源相機數據獲取與演算法整合測試方案提供了一種高效、靈活的解決方案。透過康謀的BRICKplus/BRICK2硬體採集平臺與ADTF軟體框架的結合，能夠實現多源相機的快速整合和數據獲取，同時保證了演算法測試的準確性和即時性。隨著技術的不斷進步，我們將繼續探索和優化這一方案，以適應未來更加複雜和多變的應用需求。
如果您對此感興趣，歡迎您關注我們獲取更多文章資訊，如有任何問題，也歡迎聯絡我們！
