虹科乾貨
【虹科乾貨】真實道路場景如何搬進實驗室？增強型 NMEA 回放重塑 GNSS 場景復現能力
深入解析增強型 NMEA 回放技術。結合 GGA、GSV、GSA 等報文與載噪比數據，精準復現城市峽谷與多徑干擾等真實 GNSS 道路場景，克服傳統 NMEA 與 IQ/RF 錄製瓶頸，賦能自動駕駛與低空經濟定位演算法驗證。
HongKeTechnology
2026年8月13日
虹科最新文章
HongKe
Lorem ipsum dolor sit amet, consectetur adipiscing elit.Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.
Lorem ipsum dolor sit amet, consectetur adipiscing elit.Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.
【虹科方案】高保真度＋強可控性：自動駕駛仿真的混合渲染方案
01 行業痛點與挑戰
自動駕駛（Autonomous Driving）的研發高度依賴高質素數據，然而目前行業主流的仿真測試路線各自存在明顯短板：
傳統仿真器（如 CARLA）：基於遊戲引擎架構，場景可控性高、物體可任意佈置，但渲染畫質缺乏真實感，導致仿真數據與真實物理世界之間存在顯著的「域偏移（Domain Shift）」——在仿真環境中訓練良好的演算法，部署至實車時表現往往大打折扣。此外，構建高精度三維環境亦需要耗費大量人工成本。
神經重建方案（NeRF / 3DGS）：能夠生成相片級逼真的渲染結果，但場景本身屬於「固化」狀態——動態物體僅能沿著原始軌跡運動，若插入新物體或變更其運動軌跡，重建品質便會大幅下降，難以支援換道超車、突發避讓等極限場景的仿真測試。
兩種技術路線各有適用場景，將兩者的核心優勢深度結合，是更為務實的工程落地路徑。本文將圍繞此思路，探討混合渲染（Hybrid Rendering）在實際場景中的應用架構與核心價值。
02 兩種技術如何「取長補短」
混合渲染的基本邏輯為：靜態環境採用神經重建，動態物體則透過傳統圖形技術加載。
整體工作流程可簡化理解為——先運用真實採集數據重建出街道靜態場景，再於場景內自由佈置車輛與行人，並靈活調整天氣與視角。靜態區域保留神經渲染的相片級畫質，動態物體則藉由傳統渲染實現高自由度操控。
該流水線依託【車載相機圖像、激光雷達（LiDAR）點雲、車輛里程計、相機內外參】四類原始輸入完成前置數據處理，核心涵蓋四大模組：
動態物體掩碼生成（Dynamic Object Mask Generation）： 方案僅重建場景的靜態區域，借助 OneFormer 全景分割、光流跟蹤（Optical Flow Tracking）、激光雷達–相機 3D 檢測技術識別行人與車輛等動態目標；融合圖像空間跟蹤與 3D 包圍盒靜止判定結果生成動態掩碼，於後續模型訓練中屏蔽動態物體，確保靜態場景重建的純淨度。
激光雷達深度與強度圖生成（LiDAR Depth & Intensity Map Generation）： 首先剔除動態物體對應的激光點雲，透過里程計校正與拼接獲得靜態聚合點雲；於 BEV（鳥瞰圖）視角下分塊執行泊松重建（Poisson Reconstruction）生成稠密網格，再基於相機標定參數借助 Open3D 渲染出稠密深度圖與激光雷達強度圖，為神經重建提供精準的幾何監督，有效解決路面等弱紋理區域重建失真的問題。
相機位姿精準優化（Camera Pose Precision Optimization）： 基於改進型 COLMAP 進行迭代三角化與光束平差（Bundle Adjustment）優化相機內外參，再透過 Kabsch 演算法將優化後的位姿對齊回原始世界坐標系，消除車載里程計自帶的位姿雜訊，保障大規模場景重建的幾何精度。
BEV 分塊並行處理（BEV Block-wise Parallel Processing）： 借鑑 SUDS 聚類思路對場景進行重疊分塊：將相機坐標轉換至 BEV 空間，透過 K 近鄰聚類（KNN）劃分區塊，再對聚類進行凸包擴展與膨脹處理以保證區塊重疊；重疊設計可消除區塊邊界渲染的跳變偽影（Artifacts），支援跨區塊渲染插值，適應不規則行車軌跡，同時實現分塊並行訓練，支撐 100,000 ㎡ 以上超大規模場景重建。
NeRF2GS 雙階段重建核心算法
採用 “NeRF 預訓練 ＋ 3DGS 實時渲染” 雙階段架構，兼具 NeRF 優異的視角外推能力與 3D 高斯潑濺（3D Gaussian Splatting, 3DGS）實時渲染優勢，徹底解決單一方案的缺陷：
階段 1：定制化 NeRF 模型訓練
基於 Nerfstudio 的 Nerfacto 模型進行改造，多維度增加監督約束：
引入激光雷達深度損失與天空區域密度 $L_2$ 正則化，抑制路面漂浮偽影；
新增 MLP 神經網絡預測激光雷達反射強度，搭配交叉熵損失完成 32 類語義分割預測；
採用雙邊引導 ISP 解耦方案，消除車載相機自動曝光與白平衡帶來的色彩不一致問題，輸出無成像干擾的基準場景表徵。
階段 2：多約束增強 3DGS 潑濺訓練
以 NeRF 輸出的 RGB、深度、法向、強度及語義圖作為監督與初始化，在 gsplat 後端與 AbsGS 細化策略基礎上增加多重正則化損失：
法向 ＋ 平坦約束損失：規範高斯分佈貼合真實路面與建築平面，大幅提升車道線、路面標誌等細節於全新視角的渲染效果。
- 激光雷達強度 ＋ 語義損失：將反射強度與 6 位二進制語義編碼作為高斯附加特徵，實現多模態資訊嵌入。
天地分層高斯機制：將場景拆分為地面高斯與遠距離球面天空高斯，搭配透明度累積損失強制兩層空間分離，消除遠景幾何歧義。
最終獲得兼具真實幾何、多模態屬性與實時渲染能力的靜態場景 3DGS 模型，作為混合渲染管線的靜態環境基底。
這套方案同時補足了兩類技術的短板：用神經重建收窄傳統仿真的「域偏移」，用傳統圖形技術彌補神經重建「場景固化」的局限。
03 混合渲染框架三大核心能力
從實際工程應用角度來看，這套方案主要解決了三個關鍵問題：場景規模是否足夠大、畫質是否足夠精細、生成數據是否可直接應用。
1. 場景規模龐大，畫質高強可靠
透過分塊並行訓練，支援 10 萬平方米以上的大規模場景重建（約相當於 14 個標準足球場）。在車道線、路面標誌等對自動駕駛至關重要的區域，渲染品質顯著優於現有常用方案。
2. 輸出多模態，全方位覆蓋主流感測器
可同時輸出 RGB 圖像、深度圖、激光雷達點雲、表面法向圖及語義分割掩碼，單套流程即可全面覆蓋相機、激光雷達等多種感測器的仿真需求。
3. 高效運行，數據直接可用
於消費級硬體平台上，相機渲染速度達 83 幀/秒 (fps)，64 線激光雷達仿真速度達 59 幀/秒 (fps)，完全可支撐實時硬件在環（Hardware-in-the-Loop, HIL）測試。
使用這套方案生成的數據訓練 3D 目標檢測模型，近距離檢測精度甚至高於使用原始真實圖片——主因在於仿真數據標註更為乾淨、誤檢率更低。同時，仿真圖與原始圖的檢測結果高度一致，說明域偏移已控制於極小範圍內，生成的數據可以直接用於演算法訓練，無需額外進行領域自適應（Domain Adaptation）。
04 總結
仿真環境與真實路況之間的適配差異，長期以來阻礙著智駕演算法的疊代與實車部署。混合渲染思路提供了一條務實的解決路徑——以神經重建保留真實感，以傳統圖形技術保留可控性，兼顧實景還原效果與場景靈活編輯兩大核心需求，完美平衡仿真畫質與編輯自由度。
這套方案的核心價值在於對現有技術進行了高效工程化整合，切實解決實際工程難題：
對演算法工程師：以更低成本獲取大規模、高保真且具備精準標註的訓練數據；
對測試驗證團隊：能在仿真環境中復現各類極限（Corner Cases）場景，提早發現潛在問題；
對項目決策者：減少對昂貴實車路測數據的依賴，顯著加快產品疊代節奏。
本質上，這是一條讓仿真數據真正實現工程落地的可行路徑。
虹科長期專注於混合渲染技術的工程化應用。aiSim 仿真平台已深度融合 3DGS 潑濺、NeRF 等 AI 渲染技術，提供物理級高保真且具確定性的仿真環境。結合高保真場景生成、物理級感測器模型庫、SDG／場景泛化等核心能力，康謀提供從場景構建、合成數據生成至硬件在環測試（HIL）的全流程解決方案，全力賦能智駕與機器人技術落地。
其他文章
虹科乾貨
【虹科方案 】香港企業如何防範網絡釣魚與資料外洩？從合規培訓到人員風險管理
虹科與 PCPD 最新數據顯示香港網絡釣魚及資料外洩大幅飆升！單靠硬性技術防護與年度培訓已難防範 AI 社交工程。本文深入剖析香港 B2B 企業如何升級至「人員風險管理（Human Risk Management）」，切實符合 PDPO 條例與金融監管要求，建構零信任人員防線。
HongKeTechnology
2026年8月12日
虹科分享
【虹科分享】 TSN 如何為具身智能構建確定性底座？
探索 TSN（時間敏感網絡）如何破解具身智能機器人的線束雜亂、控制延遲與數據孤島瓶頸。虹科 TSN IP 核提供 ±16ns 極致調度精度與一網融合架構，賦能多關節精細協同與微秒級同步，打造機器人高可靠通訊底座。
HongKeTechnology
2026年8月11日
