3D GAUSSIAN SPLATTING

3DGS — 三维高斯泼溅
新一代三维重建与渲染

从NeRF到3DGS,计算机视觉领域迎来范式转移。实时渲染、照片级真实感、端到端可微分——3DGS正在重新定义空间计算的技术边界。

⬡ 落地应用 📄 核心论文 ⚙ 管理后台
Technology Overview
3DGS 是什么?
3D Gaussian Splatting(3DGS)是一种基于显式三维高斯点云表示的实时渲染技术,由 Kerbl 等人于2023年提出。它用数百万个带有颜色、透明度和协方差的3D高斯椭球体来描述场景,通过可微分光栅化实现端到端优化,无需神经网络即可完成新视角合成。

实时渲染

3DGS摒弃了NeRF中耗时的体积采样过程,通过高斯光栅化实现1080p@30fps+的实时渲染,速度比NeRF快100倍以上,真正实现交互式体验。

🎯

显式表示

不同于NeRF的隐式MLP,3DGS使用显式点云+高斯参数表示场景。每个高斯具有位置μ、协方差Σ、颜色c和不透明度α,可直观编辑与操作。

🔬

可微分管线

从SfM初始点云出发,通过自适应密度控制(分裂/克隆/删除)和可微分高斯光栅化器,端到端优化所有高斯参数至照片级真实感。

📐

各向异性建模

3DGS的协方差矩阵可建模各向异性高斯——薄片状表面、细长结构和边缘都能被精确表达,避免了NeRF常见的模糊问题。

🧹

自适应密度控制

训练过程中自动在高梯度区域克隆/分裂高斯以增加细节,删除冗余高斯控制内存,实现质量与效率的最优平衡。

💾

紧凑存储

单场景仅需数十至数百MB存储,远小于NeRF模型。配合压缩技术(如HAC、Compact3DGS),可进一步缩减至10MB级别,适配移动端部署。


Real-World Applications
落地应用场景
3DGS已从学术走向产业,在多个领域展现巨大商业价值,正在重塑数字孪生、电商、文旅和自动驾驶的技术栈。
🏠

房地产 & 室内漫游

替代传统全景图,提供自由视角的沉浸式看房体验。用户可在3D重建的房屋中自由行走观察,已被Zillow、贝壳等平台关注。3DGS让VR看房不再依赖昂贵的激光扫描。

🛒

电商3D展示

消费者可360°旋转、缩放商品3D模型,获得比图片/视频更强的真实感。仅需数十张手机照片即可生成高质量3D资产,大幅降低3D电商的建模成本。

🗺️

数字孪生 & 城市建模

无人机航拍+3DGS重建生成城市级三维模型,用于城市规划、灾害评估和基础设施巡检。Google的NeRF-W变大场景和Urban Radiance Fields方向正向3DGS迁移。

🚗

自动驾驶仿真

3DGS可用于构建高保真驾驶场景仿真环境,生成多样化天气/光照/视角的训练数据。Waymo、特斯拉等公司正在探索3DGS用于闭环仿真和Corner Case生成。

🎭

文化遗产 & 文物数字化

为文物和古建筑建立毫米级精度的数字档案,支持虚拟展览和远程研究。3DGS在处理反光/半透明材质时优于传统摄影测量方法。

🎬

影视 & VFX预览

快速扫描实景生成3D场景用于虚拟制片和预可视化,大幅缩短场景重建周期。3DGS的实时渲染能力使其成为LED Volume虚拟制片流程的理想补充。

🎮

游戏 & 元宇宙

将真实环境快速转化为可交互的3D游戏场景。3DGS与图形引擎的集成(如Unreal Engine插件)正在推动"扫描即游戏"的工作流变革。

🤖

机器人 & 操作仿真

3DGS为机器人抓取和操作任务提供真实感训练环境,支持材质感知的碰撞检测和力觉模拟,是Sim2Real方向的重要工具。

📱

移动端AR

轻量化3DGS模型可在手机端实时渲染,为AR应用提供高质量场景理解。Compact3DGS、3DGS-Quant等压缩方案使移动端部署成为现实。


Key Publications
里程碑论文
从奠基之作到前沿扩展,以下论文构成了3DGS技术的核心知识图谱。
1

3D Gaussian Splatting for Real-Time Radiance Field Rendering 奠基

Kerbl, Kopanas, Leimkühler, Drettakis — SIGGRAPH 2023

提出3DGS,用显式高斯点云+可微分光栅化替代NeRF,首次实现1080p实时新视角合成,被引用超3000次。

2

DynRF: Dynamic 3D Gaussians 动态

Luiten et al. — CVPR 2024

将3DGS扩展到动态场景,每个高斯随时间运动,实现4D重建与跟踪,适用于动态环境感知。

3

4D Gaussian Splatting for Dynamic Scene Decomposition 4D

Das et al. — CVPR 2024

分解静态背景与动态前景,4D高斯表示时间变化,实现动态场景的编辑与合成。

4

Scaffold-GS: Structured 3D Gaussians 大场景

Lu et al. — CVPR 2024

引入层级锚点结构组织高斯,解决大场景3DGS的内存与渲染效率问题,PSNR提升2-3dB。

5

Compact3DGS: Compact 3D Gaussian Splatting 压缩

Navon et al. — ICLR 2024

通过向量量化压缩高斯属性,模型大小缩减10-50倍,几乎无损质量,推动移动端部署。

6

GaussianDreamer: Fast Generation from Text 生成

Yi et al. — CVPR 2024

将扩散模型与3DGS结合,从文本描述直接生成3D高斯场景,单GPU约15分钟完成生成。

7

GS-Net: 3DGS for Generalizable Novel View Synthesis 泛化

Shen et al. — CVPR 2024

无需逐场景优化的泛化3DGS,单次前向传播从稀疏视图预测高斯参数,向实时重建迈出关键一步。

8

EG3D + 3DGS: Gaussian-Based 3D-Aware Generation GAN

Various — 2024

将3DGS引入3D感知生成模型(如EG3D、StyleSplat),实现可控的高保真3D人脸/物体生成。

9

Spacetime Gaussians (STG) 时空

Li et al. — NeurIPS 2023

在时空域建模高斯,支持自由时间+视角的4D漫游渲染,将动态场景重建与渲染统一到单一表示。

10

SuGaR: Surface-Aligned 3D Gaussians 表面对齐

Guédon & Lassonde — CVPR 2024

将高斯与场景表面对齐,提取高质量网格,弥合3DGS渲染与几何精度之间的鸿沟。


Technology Providers
技术提供商
从开源框架到商业平台,3DGS生态正在快速成熟。

Gaussian Splatting

INRIA原版实现,SIGGRAPH 2023官方代码库,C++/CUDA光栅化器

gsplat

UC Berkeley开源高性能3DGS库,Python友好,支持分布式训练

Nerfstudio

集成3DGS训练管线的开源NeRF/Splatting框架,配置式实验管理

Luma AI

商用3DGS扫描平台,支持iOS/Web端扫描,API输出3D资产

Polycam

移动端3D扫描应用,集成Gaussian Splatting模式,快速生成3D模型

SplatCloud

云端3DGS处理与渲染平台,提供API和WebGL在线预览

Unreal Engine Plugin

3DGS导入Unreal Engine插件,支持实时渲染与交互,游戏/影视级工作流

WebGL/WebGPU Viewer

浏览器端3DGS渲染器(如SuperSplat),零安装在线查看与编辑高斯场景