Search
Free Trial

Hongke's latest articles

HongKe

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.

【虹科方案】高保真度＋強可控性：自動駕駛仿真的混合渲染方案

01 行業痛點與挑戰

自動駕駛（Autonomous Driving）的研發高度依賴高質素數據，然而目前行業主流的仿真測試路線各自存在明顯短板：

  • 傳統仿真器（如 CARLA）：基於遊戲引擎架構，場景可控性高、物體可任意佈置，但渲染畫質缺乏真實感，導致仿真數據與真實物理世界之間存在顯著的「域偏移（Domain Shift）」——在仿真環境中訓練良好的演算法，部署至實車時表現往往大打折扣。此外，構建高精度三維環境亦需要耗費大量人工成本。

  • 神經重建方案（NeRF / 3DGS）：能夠生成相片級逼真的渲染結果，但場景本身屬於「固化」狀態——動態物體僅能沿著原始軌跡運動，若插入新物體或變更其運動軌跡，重建品質便會大幅下降，難以支援換道超車、突發避讓等極限場景的仿真測試。

兩種技術路線各有適用場景，將兩者的核心優勢深度結合，是更為務實的工程落地路徑。本文將圍繞此思路，探討混合渲染（Hybrid Rendering）在實際場景中的應用架構與核心價值。

02 兩種技術如何「取長補短」

混合渲染的基本邏輯為：靜態環境採用神經重建，動態物體則透過傳統圖形技術加載The

整體工作流程可簡化理解為——先運用真實採集數據重建出街道靜態場景，再於場景內自由佈置車輛與行人，並靈活調整天氣與視角。靜態區域保留神經渲染的相片級畫質，動態物體則藉由傳統渲染實現高自由度操控。

場景重建完整流水線

該流水線依託【車載相機圖像、激光雷達（LiDAR）點雲、車輛里程計、相機內外參】四類原始輸入完成前置數據處理，核心涵蓋四大模組：

  1. 動態物體掩碼生成（Dynamic Object Mask Generation）： 方案僅重建場景的靜態區域，借助 OneFormer 全景分割、光流跟蹤（Optical Flow Tracking）、激光雷達–相機 3D 檢測技術識別行人與車輛等動態目標；融合圖像空間跟蹤與 3D 包圍盒靜止判定結果生成動態掩碼，於後續模型訓練中屏蔽動態物體，確保靜態場景重建的純淨度。

  2. 激光雷達深度與強度圖生成（LiDAR Depth & Intensity Map Generation）： 首先剔除動態物體對應的激光點雲，透過里程計校正與拼接獲得靜態聚合點雲；於 BEV（鳥瞰圖）視角下分塊執行泊松重建（Poisson Reconstruction）生成稠密網格，再基於相機標定參數借助 Open3D 渲染出稠密深度圖與激光雷達強度圖，為神經重建提供精準的幾何監督，有效解決路面等弱紋理區域重建失真的問題。

  3. 相機位姿精準優化（Camera Pose Precision Optimization）： 基於改進型 COLMAP 進行迭代三角化與光束平差（Bundle Adjustment）優化相機內外參，再透過 Kabsch 演算法將優化後的位姿對齊回原始世界坐標系，消除車載里程計自帶的位姿雜訊，保障大規模場景重建的幾何精度。

  4. BEV 分塊並行處理（BEV Block-wise Parallel Processing）： 借鑑 SUDS 聚類思路對場景進行重疊分塊：將相機坐標轉換至 BEV 空間，透過 K 近鄰聚類（KNN）劃分區塊，再對聚類進行凸包擴展與膨脹處理以保證區塊重疊；重疊設計可消除區塊邊界渲染的跳變偽影（Artifacts），支援跨區塊渲染插值，適應不規則行車軌跡，同時實現分塊並行訓練，支撐 100,000 ㎡ 以上超大規模場景重建。

NeRF2GS 雙階段重建核心算法

adopt “NeRF 預訓練 ＋ 3DGS 實時渲染” 雙階段架構，兼具 NeRF 優異的視角外推能力與 3D 高斯潑濺（3D Gaussian Splatting, 3DGS）實時渲染優勢，徹底解決單一方案的缺陷：

  • 階段 1：定制化 NeRF 模型訓練

    基於 Nerfstudio 的 Nerfacto 模型進行改造，多維度增加監督約束：

    • 引入激光雷達深度損失與天空區域密度 $L_2$ 正則化，抑制路面漂浮偽影；

    • 新增 MLP 神經網絡預測激光雷達反射強度，搭配交叉熵損失完成 32 類語義分割預測；

    • adopt雙邊引導 ISP 解耦方案，消除車載相機自動曝光與白平衡帶來的色彩不一致問題，輸出無成像干擾的基準場景表徵。

  • 階段 2：多約束增強 3DGS 潑濺訓練

    以 NeRF 輸出的 RGB、深度、法向、強度及語義圖作為監督與初始化，在 gsplat 後端與 AbsGS 細化策略基礎上增加多重正則化損失：

    • 法向 ＋ 平坦約束損失：規範高斯分佈貼合真實路面與建築平面，大幅提升車道線、路面標誌等細節於全新視角的渲染效果。

    • 激光雷達強度 ＋ 語義損失：將反射強度與 6 位二進制語義編碼作為高斯附加特徵，實現多模態資訊嵌入。

    • 天地分層高斯機制：將場景拆分為地面高斯與遠距離球面天空高斯，搭配透明度累積損失強制兩層空間分離，消除遠景幾何歧義。

最終獲得兼具真實幾何、多模態屬性與實時渲染能力的靜態場景 3DGS 模型，作為混合渲染管線的靜態環境基底。

這套方案同時補足了兩類技術的短板：用神經重建收窄傳統仿真的「域偏移」，用傳統圖形技術彌補神經重建「場景固化」的局限The

03 混合渲染框架三大核心能力

從實際工程應用角度來看，這套方案主要解決了三個關鍵問題：場景規模是否足夠大、畫質是否足夠精細、生成數據是否可直接應用The

1. 場景規模龐大，畫質高強可靠

透過分塊並行訓練，支援 10 萬平方米以上的大規模場景重建（約相當於 14 個標準足球場）。在車道線、路面標誌等對自動駕駛至關重要的區域，渲染品質顯著優於現有常用方案。

2. 輸出多模態，全方位覆蓋主流感測器

可同時輸出 RGB 圖像、深度圖、激光雷達點雲、表面法向圖及語義分割掩碼，單套流程即可全面覆蓋相機、激光雷達等多種感測器的仿真需求。

3. 高效運行，數據直接可用

於消費級硬體平台上，相機渲染速度達 83 幀/秒 (fps)，64 線激光雷達仿真速度達 59 幀/秒 (fps)，完全可支撐實時硬件在環（Hardware-in-the-Loop, HIL）測試。

使用這套方案生成的數據訓練 3D 目標檢測模型，近距離檢測精度甚至高於使用原始真實圖片——主因在於仿真數據標註更為乾淨、誤檢率更低。同時，仿真圖與原始圖的檢測結果高度一致，說明域偏移已控制於極小範圍內，生成的數據可以直接用於演算法訓練，無需額外進行領域自適應（Domain Adaptation）。

04 Conclusion

仿真環境與真實路況之間的適配差異，長期以來阻礙著智駕演算法的疊代與實車部署。混合渲染思路提供了一條務實的解決路徑——以神經重建保留真實感，以傳統圖形技術保留可控性，兼顧實景還原效果與場景靈活編輯兩大核心需求，完美平衡仿真畫質與編輯自由度。

這套方案的核心價值在於對現有技術進行了高效工程化整合，切實解決實際工程難題：

  • 對演算法工程師：以更低成本獲取大規模、高保真且具備精準標註的訓練數據；

  • 對測試驗證團隊：能在仿真環境中復現各類極限（Corner Cases）場景，提早發現潛在問題；

  • 對項目決策者：減少對昂貴實車路測數據的依賴，顯著加快產品疊代節奏。

本質上，這是一條讓仿真數據真正實現工程落地的可行路徑。

虹科長期專注於混合渲染技術的工程化應用。aiSim simulation platform已深度融合 3DGS 潑濺、NeRF 等 AI 渲染技術，提供物理級高保真且具確定性的仿真環境。結合高保真場景生成、物理級感測器模型庫、SDG／場景泛化等核心能力，康謀提供從場景構建、合成數據生成至硬件在環測試（HIL）的全流程解決方案，全力賦能智駕與機器人技術落地。

Go to aiSim Product Page

Other Articles
Hongke Case

[Hongke Solutions] AR Smart Healthcare Solution: A Practical Guide to Implementing Remote Consultations and Intraoperative Collaboration

Discover Hongke’s AR Smart Healthcare Solutions! Combining Vuzix AR smart glasses with a remote collaboration platform, these solutions support first-person-view remote consultations, intraoperative demonstrations, pre-hospital emergency care, and medical device after-sales support—freeing up healthcare professionals’ hands and enhancing the efficiency of cross-hospital collaboration. Learn about the key evaluation points for implementation by Hong Kong healthcare institutions today!

Read more
HongKeTechnology August 7, 2026
Hongke Dry Goods

[Hongke Solutions] As Phishing Emails Become Increasingly Realistic, How Does KnowBe4 Help Businesses Maintain Email Security?

As AI-generated phishing emails become increasingly realistic, traditional email defenses are no longer sufficient. This article explains how KnowBe4 uses four key mechanisms—Defend, Prevent, cybersecurity awareness training, and HRM+—to turn employees into the strongest first line of defense and master email security best practices for 2026. KnowBe4 uses a four-tier defense system that integrates inbound detection, outbound control, and employee training to help organizations reduce email risks at their root.

Read more
HongKeTechnology August 4, 2026
Hongke Dry Goods

[Hongke Solutions] Hongke elproMONITOR Wired Temperature and Humidity Monitoring System – Solutions for Medical Device and GMP Compliance

Hongke’s elproMONITOR Wired Temperature and Humidity Automatic Monitoring System helps medical device and biopharmaceutical companies comply with international regulations such as GMP and FDA 21 CFR Part 11. It provides 24/7 real-time monitoring, intelligent alerts, and tamper-proof data protection, helping companies achieve Industry 4.0 smart manufacturing and compliance management.

Read more
HongKeTechnology August 4, 2026
close menu icon

Contact Hongke to help you solve your problems.

Let's have a chat