宏虹方案 | proFRAME車載全景環景相機數採方案 – 多相機的完美閉環

前言導讀

精準蒐集車輛感測器的即時數據是ADAS系統穩定運作的關鍵所在。宏虹proFRAME 系統可同步擷取輸入資料流並輸出處理,成為車載全景環景相機從影像擷取至分析結果輸出儲存的高效閉迴路方案。

proFRAME 車載影像擷取與回放系統

ADAS系統如交通標誌識別、車道輔助、停車輔助和自動駕駛(AD)等功能,需要高效、精準地收集車輛感測器的即時數據,特別是來自嵌入式攝影機的視訊數據,這些功能的驗證需要同步捕獲各個攝影機的視訊串流,添加相應的時間戳並存儲,然後在硬體在環測試(HIL)中將這些駕駛場景重播到驗證這些駕駛場景重播到驗證中。

針對上述內容,proFRAME提供了完美的解決方案。

proFRAME 解決方案

全景環景的多相機資料流包含對應的高精度時間戳,proFRAME 提供了bypass 功能(Tap模式),使得資料流可以同步擷取輸入和輸出處理,透過ATX4 高效能車載伺服器/BRICK2 數採平台,對資料進行儲存、影像處理、分析,實現車載全景環視相機影像擷取至分析結果輸出的完整閉環。

proFRAME 解決方案

系統方案特點

  • 同步捕捉各個相機的視訊串流並添加響應時間戳進行儲存
  • 同步錄製多達8個4K視訊串流(包括邊帶通訊I2C),並可透過外部觸發線與其他記錄設備或感測器同步;
  • proFRAME系統在HIL中能夠基於錄製過程中的時間戳精準同步地回放駕駛場景;
  • 相容於市面上常見的串列器播放視訊串流,回放根據單影像幀時間戳資訊或外部觸發進行;
  • 支援ROS或ADTF的HIL系統,提供API實現proFRAME與HIL系統的快速整合。

靈活切換的工作模式及其應用

宏虹proFRAME 板卡有三種工作模式,透過載入不同的韌體來切換,從而滿足不同場景下的應用需求。

1. Capture模式(採集)

proFRAME 解決方案

當板卡處於Capture模式時,可同時取得最多8個相機的視訊串流。對於每一個相機視訊串流的獲取連結如下:

1. 前端的GMSL/FPD-Link相機的CMOS影像感測器捕捉光訊號並轉換為電訊號,產生原始影像數據。
​2. 原始影像資料在相機內部經過處理(如去雜訊、增益、色彩校正等)後透過相機的串列晶片進行串列化,轉為CSI-2標準的資料格式,並透過同軸線纜(Coax)傳送至卡。
​3. 在卡上,接收到的數據透過相機轉接器的解串晶片進行解碼,將串列資料流恢復成平行的CSI-2影像資料格式,傳送至板卡的FPGA模組進行處理。
​4. 除了影像數據,相機的控制訊號指令(如I2C和GPIO)也透過同軸線纜傳輸。 I2C用於設備間的通訊,包括配置相機的工作參數(如曝光、增益調整等),GPIO用於控制相機的行為(如相機的啟動停止、觸發拍攝等)。板卡也支援透過同軸線纜給相機供電(PoC)。
​5. 板卡透過PCIe(x8 Gen3)介面跟主機通訊,基於proFRAME配套的API、Lib和驅動,實現了後續客戶端應用的整合,包括ROS或ADTF應用。

2. Replay模式(回放)

proFRAME 解決方案

板卡處於Replay模式時,可同時重播最多4個視訊串流。對於每一個視訊串流的重播連結如下:

1. 主機用戶端應用輸出的視訊串流透過PCIe介面傳輸到板卡,透過板卡的FPGA模組進行預處理,轉為CSI-2影像資料格式。
2. 並行的CSI-2影像資料在相機轉接器的串列晶片進行序列化,透過切換不同的相機轉接器,以GMSL或FPD-Link序列介面標準輸出。
3. 影像資料透過同軸線纜傳輸到前端的ECU設備進行解串,恢復成平行影像資料,用於視覺化或其他調試處理目的。也可以使用另一塊proFRAME板卡來重新擷取擷取重播的視訊串流。

3. TAP模式(旁通、邊採集邊回放/記錄)

proFRAME 解決方案

板卡處於TAP模式時,可同時分別擷取及輸出最多各4個視訊串流。對於每一個視訊串流,擷取的資料攜帶ns等級的高精度時間戳,擷取的資料同時分出兩路,一路經由PCIe傳到主機,一路通過另外的通道輸出,實現視訊串流的即時擷取和回放。具體的資料傳輸鏈路如下:

1. 前端的GMSL/FPD-Link相機的CMOS影像感測器捕捉光訊號並轉換為電訊號,產生原始影像資料。
2.原始影像資料在相機內部經過處理(如去雜訊、增益、色彩校正等)後透過相機的串列晶片進行串列化,轉為CSI-2標準的資料格式,並透過同軸線纜(Coax)傳送至卡。
3.在卡上,接收到的資料透過相機轉接器的解串晶片進行解碼,將串列資料流恢復成平行的CSI-2影像資料格式,傳送至板卡的FPGA模組進行處理。
4.除了影像數據,相機的控制訊號指令(如I2C和GPIO)也透過同軸線纜傳輸。 I2C用於設備間的通訊,包括配置相機的工作參數(如曝光、增益調整等),GPIO用於控制相機的行為(如相機的啟動停止、觸發拍攝等)。板卡也支援透過同軸線纜給相機供電(PoC)。
5.影像資料經由板卡的FPGA模組,同步分出兩路數據,一路數據經由PCIe(x8 Gen3)接口傳輸到主機的客戶端應用;一路數據重新經過相機適配器的串行化芯片進行串行輸出,透過同軸線纜傳輸到前端的ECU設備進行解串,恢復成並行圖像數據,用於可視化或其他處理目的。

了解更多產品資訊

proFRAME 基板 3.0 CompactPCI 串行

 proFRAME Base Board 3.0 CompactPCI

● 高效數據傳輸:提供高達40 Gbit/s速率,支援多達8個4K相機輸入及I2C通訊。

● 精準時間同步:整合硬體級時間戳記,支援外部觸發進行同步重播。

● 靈活模組化設計:基板、相機適配器與軟體可自由組合,快速整合HiL測試系統。

proFRAME 基板 3.0 PCIe

proFRAME Base Board 3.0 PCIe

●  高性能架構:搭載 AMD Zynq™ UltraScale+™ MPSoC,支援 PCIe® x8 Gen3 介面,提供 64 Gbit/s 傳輸速率。

●  模組化設計:基板、相機適配器與軟體靈活組合,支援 GMSL2、FPD-Link III/IV 等傳輸技術。

● 數據同步與重播:錄製多達 8 個 4K 影像流,精確硬體時間戳記,適用於 HiL 測試。

如果您對此感興趣,歡迎您關注我們獲取更多文章資訊,如有任何問題,也歡迎聯絡我們!