內容提要：本文介紹了自動代客泊車系統中分析和3D環視的典型功能，以及數據流及其到TDA4VMID SoC的多個內核的映射。

摘要

自動代客泊車是高級駕駛輔助系統(ADAS)的一項關鍵新興功能，可增強傳統環視系統，在停車場景中提供更多自主性。自動代客泊車系統通常使用多個硬件組件構建，例如ISP、微控制器、FPGA、GPU、以太網/PCIe交換機等。德州儀器的新型Jacinto7平臺是業界集成度最高的SoC之一，用單個TDA4VMID芯片取代了這些組件。TDA4VMID SoC可以同時進行分析（傳統計算機視覺以及深度學習）和復雜的3D環視，使其成為一種經濟高效且功耗優化的解決方案。TDA4VMID是一種真正的異構架構，可以使用高效且易于使用的基于OpenVX的中間件框架進行編程，以實現跨內核的軟件組件分布。本文介紹了自動代客泊車系統中分析和3D環視的典型功能，以及數據流及其到TDA4VMID SoC的多個內核的映射。自動代客泊車系統可以在TDA4VMID SOC上實現，主機ARM的完整處理任務被卸載到其余SoC內核，為客戶提供充足的未來空間，并能夠添加客戶特定的差異化功能。

1.簡介

為了減少碰撞次數、提高可靠性并加快與人類駕駛員相比的反應時間，ADAS系統對捕獲的場景進行分析，以提醒駕駛員注意駕駛/停車路徑和周圍的障礙物。環視(SV)是ADAS和自動駕駛系統的關鍵應用。新興趨勢是將環視系統與分析相結合，使車輛能夠四處移動以找到停車位，并按照路徑規劃操作將車輛停在確定的停車位。

通常，這些系統是使用多個組件開發的，如圖1所示。配備分立圖像信號處理器(ISP)的汽車級攝像頭安裝在車身上。從它們捕獲的數據被輸入到應用處理器中。應用處理器通常使用內置GPU進行3D環視，為駕駛員提供環境視圖。對于自動代客泊車，它需要額外的計算復雜分析，包括對所有環視捕獲圖像進行深度學習和傳統計算機視覺算法。這通常由一個或多個分析配套芯片（例如FPGA進行光流、GPU進行深度學習）實現。為了提高算法的穩健性，超聲波傳感器或雷達/激光雷達傳感器也連接到安全微控制器進行融合。顯示輸出顯示在車輛的儀表板上，分析輸出被輸入到車輛的控制系統中以進行停車操作。使用這種多個分立元件及其DDR、電源解決方案及其互連會顯著增加系統的功率和成本。

圖1. 典型的自動代客泊車系統

2. TDA4VMID SoC

德州儀器的新型Jacinto7平臺引入了業界高水平的多個組件集成度，面向ADAS、駕駛艙和網關市場。TDA4x系列是Jacinto7平臺的定制版，面向多個ADAS市場，如前置攝像頭、環視視圖、自動代客泊車、高速公路駕駛和駕駛員監控。TDA4VMID SoC是ADAS中低端細分市場的最佳解決方案，可為自動代客泊車和高速公路駕駛系統提供高度集成的解決方案，如圖2所示。

圖2. Jacinto7平臺- TDA4VMid SoC

它包含最新的雙核ARM Cortex A72作為主機或應用程序CPU、Imagination 8XE系列GPU、兩個c66x DSP核心、一個新一代DSP (C7x)核心，通過矩陣乘法加速器(MMA)實現神經網絡加速、集成成像信號管道(VPAC)、光流和立體視差(DMPAC)硬件引擎、視頻編解碼器和顯示子系統(DSS)。它集成了以太網交換機、PCIe背板和安全微控制器（基于MCU島的Cortex R5F）。它還有額外的4個MCU（2xDual核Cortex R5F）來幫助融合和卸載主機ARM cortex A72的低延遲任務。從汽車功能安全的角度來看，MCU島支持最高功能安全即ASIL-D級，而芯片的其余部分支持ASIL-B（GPU和視頻編解碼器除外）。隨著TDA4VMID引入的集成度，圖1中描述的典型自動代客泊車系統轉變為圖3中所示的更具成本效益和凝聚力的解決方案。

圖3.Jacinto7平臺- TDA4VMid SoC

3. 用例數據流

相機感知分析包括將捕獲的圖像傳遞到圖像信號處理器，然后在視覺預處理加速(VPAC)中進行鏡頭失真校正和金字塔生成，如圖4所示。之后，將其傳遞到密集光流引擎(DOF)和可選的立體視差引擎(SDE)，作為深度和運動處理加速器(DMPAC)的一部分。最后，使用矩陣乘法加速(MMA)上的神經網絡推理在DSP內核 (C6x和C7x) 上對其進行處理。運動分割、深度估計、多物體檢測（行人、騎車人、車輛等）、語義分割、停車位檢測和視覺定位等多種算法都是在帶有MMA的DSP內核上執行的。該算法可以使用傳統的計算機視覺分析和/或深度學習，這兩者都由靈活的TDA4 SoC架構支持。

圖4.分析數據流

圖5顯示了TDA4VMID SoC上的典型3D環視數據流。這包括對攝像頭捕獲的圖像應用光度和幾何校正。光度校正是使用圖像信號處理管道(VPAC)執行的。GPU (IMG-8XE) 執行幾何校正和多幅圖像拼接以生成最終顯示圖像。此外，汽車模型會根據視角要求進行更新，并與攝像頭的拼接輸出融合。最后，GPU輸出根據顯示分辨率使用顯示子系統(DSS)中的硬件顯示管道進行縮放，然后將其發送到控制儀表板顯示的主機。

圖5.自適應環視視圖數據流

4. SW架構和OpenVX中間件

圖6顯示了SW在不同CPU上的分布，以實現圖3所示的數據流。從圖中可以看出，大多數硬件加速器功能都分配給了R5F和DSP，而A72則可以自由地進行高級應用程序控制。

圖6.軟件架構和堆棧

OpenVX用作中間件，它允許不同內核（如DSP、R5F、加速器）上的軟件作為“節點”出現在主機應用程序CPU（A72）上。這樣主機就可以使用這些不同的節點創建OpenVX數據流圖，并實現用于環視和分析的連貫系統應用程序。用于流水線處理的OpenVX擴展允許數據流執行，以便所有硬件加速器同時處于活動狀態。這使系統能夠滿足實時性能。低開銷的CPU間通信允許硬件加速器和DSP直接相互通信，而無需主機A72的干預。這導致極低的開銷（由于中間件，<1%）和低延遲操作。

圖7.OpenVx中間件

5.結果

圖8顯示了分析輸出，即通過3個攝像頭（左、右和后）進行的語義分割、車輛檢測和停車位檢測。圖9顯示了由4個攝像頭拼接而成的3D環視視圖，該視圖從用戶選擇的自由視圖渲染，以便了解外部環境。圖10顯示了圖8和圖9中所示輸出的CPU和硬件加速器加載。如圖10所示，像素處理和分析的大部分繁重工作是由底層加速器和DSP（如C7x/MMA、VPAC和GPU）完成的，ARM A72和R5F DMIPS可供客戶自由插入其自定義算法，用于傳感器融合、定位和路徑規劃。

圖8.AVP –多攝像機分析輸出

圖9.3D環視視圖輸出

圖10.OpenVx中間件

6. 結論

本文介紹了完全集成的TDA4VMID SoC，可同時滿足自動代客泊車系統的3D環視和分析需求。通過集成外部安全微控制器（使用MCU島）、ISP（使用VPAC）、FPGA（使用DMPAC）、附加GPU（MMA）、以太網交換機、PCIE背板、附加MCU（2xDual Cortex R5F），實現了高集成度。TDA4VMID中的集成度、汽車安全級別的混合、多個異構高性能處理器內核以及使用OpenVX的高效靈活的SW架構，為大眾市場部署的自動代客泊車提供了成本優化的解決方案。

詳詢“牛小喀”微信：NewCarRen

作者：?？W專欄作者
牛喀網文章，未經授權不得轉載！