从NeRF到3DGS,计算机视觉领域迎来范式转移。实时渲染、照片级真实感、端到端可微分——3DGS正在重新定义空间计算的技术边界。
3DGS摒弃了NeRF中耗时的体积采样过程,通过高斯光栅化实现1080p@30fps+的实时渲染,速度比NeRF快100倍以上,真正实现交互式体验。
不同于NeRF的隐式MLP,3DGS使用显式点云+高斯参数表示场景。每个高斯具有位置μ、协方差Σ、颜色c和不透明度α,可直观编辑与操作。
从SfM初始点云出发,通过自适应密度控制(分裂/克隆/删除)和可微分高斯光栅化器,端到端优化所有高斯参数至照片级真实感。
3DGS的协方差矩阵可建模各向异性高斯——薄片状表面、细长结构和边缘都能被精确表达,避免了NeRF常见的模糊问题。
训练过程中自动在高梯度区域克隆/分裂高斯以增加细节,删除冗余高斯控制内存,实现质量与效率的最优平衡。
单场景仅需数十至数百MB存储,远小于NeRF模型。配合压缩技术(如HAC、Compact3DGS),可进一步缩减至10MB级别,适配移动端部署。
替代传统全景图,提供自由视角的沉浸式看房体验。用户可在3D重建的房屋中自由行走观察,已被Zillow、贝壳等平台关注。3DGS让VR看房不再依赖昂贵的激光扫描。
消费者可360°旋转、缩放商品3D模型,获得比图片/视频更强的真实感。仅需数十张手机照片即可生成高质量3D资产,大幅降低3D电商的建模成本。
无人机航拍+3DGS重建生成城市级三维模型,用于城市规划、灾害评估和基础设施巡检。Google的NeRF-W变大场景和Urban Radiance Fields方向正向3DGS迁移。
3DGS可用于构建高保真驾驶场景仿真环境,生成多样化天气/光照/视角的训练数据。Waymo、特斯拉等公司正在探索3DGS用于闭环仿真和Corner Case生成。
为文物和古建筑建立毫米级精度的数字档案,支持虚拟展览和远程研究。3DGS在处理反光/半透明材质时优于传统摄影测量方法。
快速扫描实景生成3D场景用于虚拟制片和预可视化,大幅缩短场景重建周期。3DGS的实时渲染能力使其成为LED Volume虚拟制片流程的理想补充。
将真实环境快速转化为可交互的3D游戏场景。3DGS与图形引擎的集成(如Unreal Engine插件)正在推动"扫描即游戏"的工作流变革。
3DGS为机器人抓取和操作任务提供真实感训练环境,支持材质感知的碰撞检测和力觉模拟,是Sim2Real方向的重要工具。
轻量化3DGS模型可在手机端实时渲染,为AR应用提供高质量场景理解。Compact3DGS、3DGS-Quant等压缩方案使移动端部署成为现实。
Kerbl, Kopanas, Leimkühler, Drettakis — SIGGRAPH 2023
提出3DGS,用显式高斯点云+可微分光栅化替代NeRF,首次实现1080p实时新视角合成,被引用超3000次。
Luiten et al. — CVPR 2024
将3DGS扩展到动态场景,每个高斯随时间运动,实现4D重建与跟踪,适用于动态环境感知。
Das et al. — CVPR 2024
分解静态背景与动态前景,4D高斯表示时间变化,实现动态场景的编辑与合成。
Lu et al. — CVPR 2024
引入层级锚点结构组织高斯,解决大场景3DGS的内存与渲染效率问题,PSNR提升2-3dB。
Navon et al. — ICLR 2024
通过向量量化压缩高斯属性,模型大小缩减10-50倍,几乎无损质量,推动移动端部署。
Yi et al. — CVPR 2024
将扩散模型与3DGS结合,从文本描述直接生成3D高斯场景,单GPU约15分钟完成生成。
Shen et al. — CVPR 2024
无需逐场景优化的泛化3DGS,单次前向传播从稀疏视图预测高斯参数,向实时重建迈出关键一步。
Various — 2024
将3DGS引入3D感知生成模型(如EG3D、StyleSplat),实现可控的高保真3D人脸/物体生成。
Li et al. — NeurIPS 2023
在时空域建模高斯,支持自由时间+视角的4D漫游渲染,将动态场景重建与渲染统一到单一表示。
Guédon & Lassonde — CVPR 2024
将高斯与场景表面对齐,提取高质量网格,弥合3DGS渲染与几何精度之间的鸿沟。
INRIA原版实现,SIGGRAPH 2023官方代码库,C++/CUDA光栅化器
UC Berkeley开源高性能3DGS库,Python友好,支持分布式训练
集成3DGS训练管线的开源NeRF/Splatting框架,配置式实验管理
商用3DGS扫描平台,支持iOS/Web端扫描,API输出3D资产
移动端3D扫描应用,集成Gaussian Splatting模式,快速生成3D模型
云端3DGS处理与渲染平台,提供API和WebGL在线预览
3DGS导入Unreal Engine插件,支持实时渲染与交互,游戏/影视级工作流
浏览器端3DGS渲染器(如SuperSplat),零安装在线查看与编辑高斯场景