宏虹CANedge數據記錄儀
宏虹CSS的CANedge數據記錄儀專為汽車和工業領域的工程師設計，旨在通過監控現場資產來支持研發、診斷和預測性維護。這款記錄儀不僅可靠，還能以Wi-Fi和3G/4G技術進行數據傳輸。為了將這些數據轉化為直觀的視覺化資訊，工程師們通常依賴於Grafana儀表板。通過Grafana-Athena整合技術，我們可以巧妙應對使用者在數據視覺化過程中遇到的一系列挑戰。本文將深入探討實現這一目標所涉及的工作流程。
圖一 Grafana儀表板
亟待解決的五大難題
1. 如何解碼原始二進位日誌檔？
宏虹CANedge數據記錄儀以MDF（*.MF4）格式記錄原始CAN數據，包括帶有時間戳記的“CAN ID”和“數據位元組”。使用者需要通過軟體/API工具和CAN（DBC）數據庫檔進行解碼，這樣才能使這些數據對使用者可讀。
2. 如何實現跨TB數據的低成本視覺化？
一台宏虹CANedge設備每月可能產生超過50GB的數據，甚至累積至TB級別。將這些數據存儲在基於雲的時間序列數據庫中的成本高昂，且數據查詢的速度也必須夠快，以確保高效處理。
3. 如何保留原始報文時間戳記？
CAN網路中的每個報文都有其獨特的時間光柵，整合方案必須保留這些原始時間戳記，以便用戶能夠查看從秒到月的數據，提供細緻的分析。
4. 如何讓用戶自主部署？
宏虹CSS不提供伺服器或服務託管，這讓使用者自行設置部署過程顯得至關重要。為了適應數據敏感性高的使用者，部署需要簡單快速。
5. 如何保持不可知性？
宏虹CANedge設備支援多種數據收集方式，例如，使用者可使用宏虹CANedge1將數據記錄到SD卡中，以便離線使用，也可以使用宏虹CANedge2/CANedge3通過 WiFi/LTE（4G）將數據收集到S3伺服器中。因此，整合方案需要能夠適應這些不同的後端存儲選項。
宏虹Grafana-Athena整合解決方案
為了應對上述整合挑戰，宏虹CSS推出了“Grafana-Athena”儀表板整合方案，提供了一種高效且使用者友好的數據視覺化解決方案。
圖2 宏虹CANedge數據記錄儀_點擊查看更多
整合方案設置步驟：
1. 數據上傳： 宏虹CANedge記錄儀將CAN/LIN數據上傳至AWS S3的“input bucket”。
2. 觸發Lambda函數： 日誌檔上傳後，觸發Lambda函數自動處理。
3. 數據解碼： 使用DBC檔將原始數據解碼為Parquet格式。
4. 數據存儲： 解碼後的Parquet檔存儲於AWS S3的“output bucket”。
5. 數據視覺化： 使用Grafana的Athena外掛程式，實現對“data lake”中的數據進行視覺化展示。
6. 快速部署： 用戶只需15分鐘即可自動部署整套系統，無需編碼。
圖3 宏虹Grafana-Athena儀表板整合
宏虹Grafana-Athena的部署過程完全由用戶自主完成，即使是沒有Grafana或AWS使用經驗的用戶也能輕鬆上手。宏虹CSS為此提供了隨插即用的AWS CloudFormation堆疊，以及詳細的部署指導。
使用者只需將DBC檔和Lambda函數壓縮包上傳至S3 input bucket，然後使用CloudFormation堆疊範本部署Lambda函數、S3 input bucket、Athena和Glue。部署完成後，用戶將獲得必要的憑據，以便在Grafana雲數據來源設置中驗證Athena的憑證。無需擔心Parquet數據湖的構建細節，因為這一切都由宏虹CSS Electronics預製的AWS Lambda函數自動完成，同時確保數據湖按日期進行最佳分區。
五大顯著優勢
1. 高性能與低成本查詢： 傳統Grafana-InfluxDB整合處理大規模數據成本高昂，而宏虹Grafana-Athena方案通過AWS S3存儲和Athena無伺服器查詢，有效降低成本，保持高效查詢性能。
2. 無需編碼，15分鐘內完成部署： 使用AWS CloudFormation範本和預配置的Lambda函數，無需任何編程知識，大大簡化部署流程。
3. 無縫跨時間尺度分析： Grafana即時重新採樣功能和原始時間戳記保留，讓用戶可以輕鬆分析跨年或跨毫秒的數據。
4. 多功能數據湖與SQL介面： S3上的Parquet data lake不僅支援Grafana視覺化，還可用於Python/Matlab查詢和Excel報告，提供了一個全面的數據分析平臺。
5. 靈活的部署選項： 本文主要探討了Amazon Athena整合方案，這是由於宏虹CSS的多數用戶已經採用AWS S3來存儲CANedge2/CANedge3設備生成的數據。除此之外，還可以考慮以下替代方案：
- Grafana-ClickHouse： ClickHouse是一個開源的分析數據庫，能夠提供與Athena相似的性能。它支援在本地磁片或自託管的S3相容存儲上進行數據視覺化，並通過Grafana的ClickHouse數據來源外掛程式輕鬆整合。
- Grafana-BigQuery： 對於使用Google雲服務的使用者，BigQuery提供了一個與Amazon Athena功能相似的解決方案。通過BigQuery數據來源外掛程式，用戶可以便捷地將BigQuery與Grafana整合，實現數據的視覺化分析。
應用案例：原型車隊數據視覺化
一位汽車OEM的工程師負責監控50輛原型車的CAN數據，目的是進行深入的後期診斷分析。通過部署宏虹CANedge3數據記錄儀，工程師能夠自動收集關鍵的車輛運行數據。
圖四 原型車隊的數據視覺化
數據收集與處理：
• 自動化數據上傳： 利用3G/4G蜂窩網路，宏虹CANedge3設備將二進位日誌檔自動上傳至公司專用的AWS S3伺服器。
• 數據處理： 存儲在S3 input bucket中的日誌檔觸發一個Lambda函數，該函數使用相應的DBC檔自動解碼數據，並將解碼後的數據轉換為Parquet格式，存儲在另一個S3 output bucket中。
• 數據視覺化與分析： 用戶現在可以利用定制的Grafana儀表板，通過Athena外掛程式直接查詢Parquet data lake中的數據。
多維度分析： 這種設置為工程師提供了強大的工具，不僅可以進行即時監控，還可以進行深入的診斷、基準測試和統計分析，從而優化車輛性能和設計。
結論
通過這種整合方案，汽車OEM能夠實現數據的高效管理和分析，加速研發流程，提高原型車測試的品質和效率。採用Grafana-Athena整合方案，宏虹成功為用戶實現了顯著的成本節約，成本降低超過95%。這一整合不僅優化了數據管理和視覺化流程，還為其他企業在處理大規模數據時提供了一種經濟高效的Grafana面板視覺化策略。
