【新品發布】虹科 Xylon 記錄儀|色彩決定一切

背景— 車載攝影鏡頭的發展

攝影鏡頭已經逐漸從最初的汽車後視鏡應用發展到智能傳感器,可以檢測道路上的物體,並透過自動剎車和車道保持等駕駛輔助來提高安全性。最近的 ADAS/AD 的發展已經使攝影鏡頭成為感知汽車周圍環境不可或缺的工具。雖然光學雷達和雷達在傳感器融合中能夠比較可靠地檢測道路障礙物,在全天候提供最大程度的晝夜資訊,但實際上只有攝影鏡頭能夠最準確地識別和分類車輛周圍的物體。

傳統的計算機視覺系統依賴灰度影片來識別形狀,並在一定程度上依賴基本色度,例如交通標誌識別,而基於機器學習和深度神經網路 (DNNs) 的現代視覺系統往往需要色彩來理解世界。顏色決定了一切,使神經網路更好地模仿人類大腦。

DNNs 必須經過訓練,才能在特定的 ADAS/AD 應用中以最大的可靠性協同工作。訓練過程使用帶有精確標註的數據集在算力強大的服務器上進行。

經過訓練的參數在 ECU 控制器中的 GPU、FPGA 或視覺處理器上進行 DNNs 實現。全彩色影片需要從指定攝影機位置和來相同影片傳感器和鏡頭的獲取,以確保 DNNs 盡可能可靠。然而,收集這些影片的過程要困難得多。

車載攝影機不會產生顏色,它們生成的顏色訊息編碼為眾多拜耳編碼變體之一。此外,常用的高動態範圍 (HDR) 相機以不同的曝光方式生成兩到三幀,組合在一個幀中,可以顯示被陽光直射的物體和被放置在極端陰影中的物體。

★ ISP 管道問題 ★

生成高對比度的彩色影片需要透過一個稱為 HDR 圖像訊號處理(ISP)的專用硬體進行處理。HDR ISP 管道通常由同一 Soc 晶片中的 DNNs 實現,這使得在 DNNs 輸入處處理的彩色影片很難用於晶片外的標註和機器學習。這一問題可以通過對處理後的彩色影片進行數據記錄來解決。由於 ISP 管道對數據執行大量像素操作,這種處理需要硬體升級到標準數據記錄儀級別。

Xylon 的 logiRECORDER 汽車 HIL 影片記錄器是一種完美的解決方案。它以可編程 FPGA 為基礎,實現了晶片級的 HDR ISP 集成。這確保了經過處理的影片的完整性,並透過其他車輛傳感器的數據並行記錄來提供完整的傳感器融合支持。

Xylon 在設計可編程晶片方面有超過 25 年的經驗,它的logicBRICKS 庫包括用於可編程 FPGA 和 SoC 晶片中的 ISP處理的 IP 核。它使 Xylon 能夠直接在數據記錄儀的影片 I/O模塊中實現 HDR ISP,動態地處理原始影片並記錄彩色影片。

Xylon ISP 處理的影片與 ECU soc ISP 處理的影片之間的差異是非常小的。Xylon 與客戶合作,針對特定的攝影機進行 ISP調優,並透過 DNNs 訓練實現最佳的影片質量。

Xylon logiRECORDER

除了數據記錄,logiRECORDER 獨特的 HIL 回放功能可以將記錄數據直接注入連接的 ECU。可編程的 HDR ISP 塊集成在 logiRECORDER 的影片輸出,相當於真實的相機仿真。而不是簡單地回放記錄的數據,logiRECORDER 的 HDR ISP 塊修改影片以響應 ECU 的命令。這種閉環HIL 與 ECU 運行的韌體大大提高了最終產品的質量保證。

所提出的解決方案已經與幾個 Xylon 客戶建立了原型,計劃於 2022 年第三季度推出可量產的解決方案。


汽車乙太網和 TSN 直播活動

想要了解 Xylon 的 logiRECORDER 汽車 HIL 影片記錄器的更多資訊,歡迎關注虹科雲課堂— 汽車以太網和TSN系列直播,邀請虹科車輛網路事業部的高級工程師— 李實軍跟大家分享《影片數據記錄儀在ADAS中的應用》。歡迎汽車行業相關的高手加入!


聯繫我們