【虹科方案】虹科雙模態仿真測試方案：3DGS 與 aiSim 深度解析

虹科最新文章

HongKe

Lorem ipsum dolor sit amet, consectetur adipiscing elit.Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.

【虹科方案】虹科雙模態仿真測試方案：引領端到端自動駕駛的物理級數字孿生革命

隨著端到端（End-to-End）自動駕駛架構的興起，傳統基於規則的仿真測試正遭遇「真實感不足」與「場景泛化難」的雙重瓶頸。

本文將深度拆解虹科（Hongke）推出的雙模態仿真測試解決方案：一方面依託 aiSim 提供確定性的物理級傳感器建模；另一方面通過 World Extractor 實現基於 3DGS/NeRF 的自動化世界重建。我們將重點探討這兩者如何透過混合渲染（Hybrid Rendering）技術路線，在保留真實世界視覺保真度的同時，實現動態交通流的泛化，構建可用於閉環驗證（Closed-loop Verification）的數字孿生（Digital Twin）環境。

01. 端到端測試的關鍵挑戰

自動駕駛仿真測試的核心矛盾，長期存在於「物理真實性（Realism）」與「仿真可控性（Controllability）」之間。虹科基於此構建了兩條既獨立又互補的技術路線，形成了完整的工具鏈生態：

物理驅動路線（Model-based）： 以 aiSim 仿真平台為核心，基於高精度 3D 網格與物理材質系統，提供 ISO 26262 ASIL D 認證級的確定性仿真，側重於閉環驗證、傳感器模型研究與極端邊緣場景（Corner Cases）構造。
數據驅動路線（Data-driven）： 以 World Extractor 工具鏈為核心，利用 3DGS 和 NeRF 技術，將真實採集數據自動化重建為高保真數字世界，側重於解決感知模型的 Sim-to-Real Gap（虛實遷移差距）。

這兩條路線並非孤立，而是透過混合渲染架構在終端匯聚，為高階智駕提供「靜態環境真實、動態目標可控」的閉環測試能力。

02. aiSim：確定性高保真物理引擎

aiSim 並非僅為神經渲染服務的播放器，而是一款獨立、基於物理的高性能全棧仿真平台。它集成了動力學仿真、天氣環境系統、物理傳感器模型及場景編輯等自動駕駛測試關鍵功能，更是全球首個通過 ISO 26262 ASIL D 認證的仿真平台。其核心價值在於為端到端智駕系統提供高保真、確定性的輸出，並進行有效的閉環測試。

自研渲染引擎與確定性

不同於基於遊戲引擎（如 UE/Unity）的方案，aiSim 採用自研且基於 Vulkan API 的渲染管線：

確定性（Determinism）： 確保在不同硬件架構（從工作站到雲端大規模集群）上，同一幀場景的渲染結果在像素、點雲、動力學信息等層面完全一致。這對於**回歸測試（Regression Testing）**至關重要。
光線追踪（Ray-tracing）： 支持對激光雷達（LiDAR）和雷達（Radar）進行多徑反射仿真與高斯線束計算，並基於物理材質屬性（PBR）精確計算反射率，而非簡單的幾何投影。

物理級傳感器建模

aiSim 深入物理特性層面，提供極致建模：

Camera（攝像頭）： 支持從光圈、畸變（F-theta/Mei/Ocam）、CFA（色彩濾光陣列）到 ISP 後處理的全鏈路仿真。
LiDAR（激光雷達）： 基於輻射測量（Radiometric），考量 905nm 波長下的材質反射率、大氣衰減（如雨霧中的 Mie 散射）及卷簾門效應（Rolling Shutter）。
Radar（雷達）： 採用光線追踪模擬多徑效應，支持輸出 RCS、多普勒速度及點雲級別的仿真數據。

03. World Extractor：自動化場景重建

針對傳統手工建模週期長、成本高的痛點，World Extractor 提供了一套成熟的端到端自動化工具鏈，將現實世界高效轉化為數字資產。

嚴格的硬件採集標準

高質量的重建源於高質量的數據。虹科定義了嚴格的傳感器部署規範：

覆蓋要求： 相機需實現 360° 全覆蓋，相鄰視場重疊度需 >10°，確保特徵點精準匹配。
同步精度： 多傳感器（Camera/LiDAR）與 GNSS/INS 的時間同步精度需 <1ms，位置誤差需控制在厘米級（RTK/PPK）。
推薦配置： 採用 Sony IMX490/728 傳感器及 128 線激光雷達。

自動化處理與 3DGS 訓練

動態物體移除： 利用自動化標注算法（2D 分割結合 3D 包圍盒）識別並剔除移動車輛與行人，保留純淨的靜態場景（建築、路面、植被等）。
NeRF2GS 訓練新範式： 為解決傳統 3DGS 在弱紋理區域（如路面、天空）的幾何崩壞，虹科提出先訓練 NeRF 模型進行深度正則化（Depth Regularization），再將其高質量深度圖作為監督信號初始化 3DGS 模型。
大規模分塊訓練： 針對城市級場景（>100,000 m²），採用 BEV 空間動態分塊（Block-based）策略，支持多 GPU 並行訓練，消除渲染接縫。

04. 混合渲染實現閉環測試

這是虹科方案的核心技術壁壘。單純的 3DGS/NeRF 雖視覺逼真，但本質是「三維錄像」，難以交互。為實現閉環測試，我們採用了解耦技術：

背景（Background）： 使用 World Extractor 生成的靜態 3DGS 模型，確保環境紋理與光照的絕對真實。
前景（Foreground）： 使用 aiSim 物理引擎生成的動態網格（Mesh）物體。這些物體的行為由 OpenSCENARIO 標準驅動，支持泛化與交互。

深度合成與多模態一致性

深度合成（Depth Compositing）： 系統實時計算 3DGS 背景深度圖與 aiSim 前景物體的 Z-buffer，精確處理遮擋關係（如虛擬車輛行駛在真實樹木後方），並通過 環境光照信息（IBL） 融合陰影與反射。
LiDAR 仿真一致性： 針對 3D 高斯球實現光線追踪，將其作為代理幾何體構建 BVH 加速結構，確保 Camera 與 LiDAR 在時空層面的強同步。

05. 場景泛化與工程落地

基於上述架構，虹科實現了從「復現」到「泛化」的技術跨越：

動態交通流泛化

在重建的高保真地圖中，測試人員可透過 OpenSCENARIO 自由配置交通流，生成擁堵、Cut-in（切入）或事故場景。這極大地擴展了 ODD（運行設計域） 的覆蓋範圍，精準攻克感知算法在路測中難以遇到的 Corner Case（邊緣場景） 痛點。

廣泛的 HiL 集成支持

該工具鏈已在多家 OEM 及 Tier 1 供應商中驗證，支持主流域控平台的硬件在環（HiL）集成：

視頻注入： 支持通過 HDMI/DP 或 GMSL 注入卡，將混合渲染視頻流注入 NVIDIA Orin, NVIDIA Thorn, Horizon J6 等域控制器。
實時性： 在單節點（如 4 卡仿真工作站）即可實現 12 路相機 + 激光雷達的高幀率實時仿真。

總結

虹科的雙模態仿真測試解決方案，透過 NeRF2GS 技術將真實世界「搬進」仿真器，並利用 aiSim 物理引擎 讓世界「活」了起來。這種「靜態環境高保真，動態場景全泛化」的混合渲染模式，為從感知到規控的端到端閉環驗證提供了行業領先的數據底座，顯著降低了對高成本實際路測的依賴！