China3DV25青年学者论坛-崔兆鹏.pdf

1、基于神经表征的三维感知、预测与规划崔兆鹏浙江大学 规划预测图像信息雷达信息感知2智能无人系统精准规划状态控制重建感知未来预测3三维神经表征 VS 传统显式表征传统显式表征三维神经表征常见形式：点云、网格等简单、高效、可解释性强表达能力弱、渲染真实感不足表达能力强、渲染真实感足效率低、计算量大常见形式：NeRF、3DGS神经表征是否可以提高三维感知、预测和规划的性能?4三维神经感知、预测与规划Multi-Modal NeRF SLAMICCV23NICE-SLAM CVPR22NICER-SLAM3DV24CP-SLAMNeurIPS23PNeRFLocAAAI24CG-SLAMECCV245三

2、维神经感知、预测与规划Coin3DSIG24GaussianPredictionSIG24PCPlannerSIGA24Top viewCamera viewDreamSpaceVR246三维感知：NICER-SLAMWarping LossRGB LossRecon Losst+1t-1t-2tDepth LossNormal LossOptical Flow LossCurrent FrameInput RGBEstimated DepthGenerated RGBGenerated DepthMonocularDepthEstimatorMonocularNormalEstimatorE

3、stimated NormalsGenerated NormalsKeyframeSelectionEikonal LossCamera Pose EstimateDifferentiable RendererMLPMapping and Tracking OutputGeometryGridsColorGridsRay+PointSamplerHierarchical Feature GridsKeyframesInput RGB StreamZhu et al.NICER-SLAM:Neural Implicit Scene Encoding for RGB SLAM.3DV 2024.R

4、GB-Only：实现了仅依靠单目RGB相机的Neural SLAM框架高质量稠密重建：将单目几何先验与帧间几何约束融入优化框架，提升系统的稳定性与精度3DV 2024 Best Paper Honorable Mention（唯一）7三维感知：NICER-SLAM真实场景8三维感知：CG-SLAMHu et al.CG-SLAM:Efficient Dense RGB-D SLAM in a Consistent Uncertainty-aware 3D Gaussian Field.ECCV 2024.不确定性建模：CG-SLAM提出了一种新颖的3DGS不确定性模型，实现了高质量的定位与建图

5、实时稠密SLAM：挖掘3DGS高效的渲染优化能力，3090显卡实现15Hz以上的同步定位与建图速率9三维感知：CG-SLAM10三维预测：GaussianPrediction同心运动蒸馏：降低场景运动预测的复杂度，结合GCN实现了精准的场景动态预测建模预测统一框架：提出了基于3DGS的重建与预测统一框架，在动态重建与预测上都达到了SOTAZhao et al.GaussianPrediction:Dynamic 3D Gaussian Prediction for Motion Extrapolation and Free View Synthesis.SIGGRAPH 2024.11三维预测

6、：GaussianPredictionTorchocolateChicken12三维规划：PC-PlannerTime FieldRegressorTime FieldRegressorMPDistanceFunction,+(,)0Physical ConstraintsCollision Constraint=1/SpeedLossShen et al.PC-Planner:Physics-Constrained Self-Supervised Learning for