悉尼科技大学与百度联合研发:手机上也能跑的超清3D场景渲染？

由悉尼科技大学、悉尼渲染百度公司及阿德莱德大学联合研发的科技最新成果，已于2026年6月以预印本形式发布。大学的超该论文编号为 arXiv:2606.30017，百度题为《Monte Carlo Energy Aggregation for Mobile 3D Gaussian Splatting》。联合读者可通过该编号在arXiv平台获取完整技术文档。手机上也

针对移动端打开“沉浸式3D场景”时常见的场景卡顿、发热及加载失败痛点，悉尼渲染研究团队提出了 Flux-GS解决方案。科技其核心目标是大学的超在移动设备上实现高质量、高帧率且低存储占用的百度3D场景实时渲染。

一、联合技术背景：3D高斯泼洒（3DGS）的手机上也移动化挑战

3D高斯泼洒（3D Gaussian Splatting, 3DGS）利用数百万个携带颜色信息的椭球形“高斯气泡”构建3D场景。在桌面端，场景该技术能实现每秒数十帧的悉尼渲染高清渲染，但在移动端面临两大核心瓶颈：

1. 存储瓶颈（三阶球谐函数）：为模拟金属等高反光材质，3DGS使用三阶球谐函数（SH）描述颜色变化。每个气泡需存储48个浮点数（16系数×3通道），导致颜色数据占据模型总存储量的 81%，超出手机存储负荷。
2. 数量失控（气泡冗余）：传统训练通过“分裂/克隆”气泡提升画质，易产生过量气泡，导致渲染慢、存储大。且单视角训练策略易造成视角偏差，换角度即露馅。

Flux-GS旨在通过统一优化颜色压缩、气泡管理及渲染流程，解决上述问题。

二、核心创新一：蒙特卡洛光谱能量聚合器（MC-SEA）

为解决三阶球谐函数存储过大的问题，研究团队提出 MC-SEA，通过“抽样投票”机制压缩颜色信息，而非简单截断。

• 原理：直接截断高阶球谐函数会丢失高光细节（如镜面反射）。MC-SEA提取高阶信息的“精华”——高光强度与方向。
• 流程：
• 球面均匀采样：在球面上随机撒下2048个点代表观察方向。
• 蒙特卡洛聚合：计算三阶与一阶球谐函数的颜色残差，汇总正值部分，得出“高光平均强度”和“高光方向加权平均值”。
• 神经网络映射：训练小型神经网络，将“高光摘要+空间位置”映射为一阶球谐系数。
• 优势：
• 零推理开销：映射仅在训练后执行一次，推理时无需运行神经网络。
• 免蒸馏：摒弃了Mobile-GS所需的耗时“师生蒸馏”过程，直接通过数学提炼实现压缩，大幅提升训练效率。

三、核心创新二：属性条件化球谐增强模块

为弥补从三阶压缩至一阶带来的细节损失，引入 属性条件化球谐增强模块。

• 机制：基于气泡自身几何特征（位置、大小、朝向、透明度及初步颜色系数），预测颜色修正量（“补妆”）。
• 架构：四层轻量级神经网络（ReLU激活，隐藏层神经元128-12递减）。
• 关键设计：
• 权重初始化：初始权重全零，确保训练初期系统退化为标准3DGS，随训练逐步学习修正。
• 烘焙优化：因修正量仅依赖气泡固有属性（与视角无关），可在推理前预先计算并“烘焙”至参数中。
• 对比优势：相比Mobile-GS需每帧实时运行神经网络的方案，Flux-GS实现了 推理阶段零计算开销，显著降低渲染延迟。

四、核心创新三：多视角Alpha加权密化与剪枝策略

针对气泡数量失控问题，提出基于全局视角的管理策略，取代传统的单视角梯度判断。

1. 分层相机采样：估算场景中心，按方位角/俯仰角划分网格，从每个非空格子选取代表性图片，确保多角度覆盖，避免评估偏差。
2. 误差反投影：
3. 渲染多视角图片，计算逐像素重建误差。
4. 将2D误差反投影至3D空间，根据气泡对高/低误差像素的Alpha贡献度，计算两个分数：
5. 重要性分数：对高误差像素的Alpha贡献之和（决定分裂/克隆）。
6. 剪枝分数：对低误差像素的Alpha贡献之和（决定删除）。
7. 执行策略：仅对重要性分数超阈值的气泡进行分裂，对透明度低且剪枝分数超阈值的气泡进行删除。

效果验证：消融实验显示，移除该策略后，气泡数量从36万飙升至137万，存储从3.5MB增至16MB，帧率从139FPS降至24FPS。

五、训练流程：三步走高效策略

Flux-GS训练周期为30,000次迭代，无需预训练或蒸馏：

1. 阶段一（前3000次）：使用完整三阶球谐函数训练，建立丰富的颜色表示基础。
2. 阶段二（3000次后）：MC-SEA介入，将三阶信息压缩转换为一阶表示，并启动属性条件化增强模块。此后全程使用一阶框架。
3. 效率对比：在RTX 4090上，总训练时间约 11分钟，远快于Mobile-GS的100+分钟。

六、跨平台部署：WebGL实时渲染框架

研究团队开发了基于 WebGL的渲染框架，支持在手机、电脑、平板浏览器中直接运行，无需安装APP。

• 技术突破：传统3DGS需GPU进行深度排序，受限于屏幕刷新率（60/120Hz）。Flux-GS将深度排序任务移至 Web Worker（CPU后台线程），GPU专注渲染。
• 结果：实现CPU与GPU并行处理，突破刷新率限制，提升渲染帧率。

七、实验结果：性能与画质平衡

在Mip-NeRF 360、Tanks and Temples、Deep Blending三大标准数据集上，Flux-GS表现优异：

• 室外场景：存储仅0.48MB，帧率132 FPS，画质接近对比方法。
• Tanks and Temples：PSNR 23.27，存储2.4MB，FPS 137。
• Deep Blending：PSNR 29.73，存储1.9MB，FPS 158。

用户评测：30名志愿者主观评测中，Flux-GS在三个数据集上的偏好率分别为60%、43%、53%，显著高于Mobile-GS（20%-30%）。用户反馈其“漂浮物”和渲染瑕疵更少。

参数敏感性：
* 蒙特卡洛采样点数K=2048时PSNR趋于饱和。
* 多视角相机数量=6时效果最佳。
* 密化阈值Q+=0.6，剪枝阈值Q-=0.1时平衡性最优。

八、局限性与未来展望

当前局限：
1. 镜面反射：压缩至一阶球谐后，对镜子或高光金属的清晰倒影描述能力下降。
2. 训练内存：前3000次迭代仍需存储三阶球谐，峰值内存与标准3DGS相当。
3. 极端视角：若微小细节仅存在于未采样的特定角度，可能被错误剪枝。

未来方向：
1. 码本/熵编码：结合多视角指导进一步压缩存储，支持低带宽流传输。
2. 动态场景扩展：将多视角策略适配至4D高斯泼洒，实现手机端实时体积视频播放。

结语

Flux-GS通过数学提炼颜色信息、解耦训练与推理过程、以及多视角精准管理气泡，系统性解决了移动端3D渲染的难题。在不到2MB的存储空间下，实现超130 FPS的流畅渲染且保持高画质，标志着普通手机体验高端3D场景成为可能。尽管在极端镜面反射上仍有提升空间，但在虚拟旅游、家具预览等日常场景中已具备极高实用价值。

完整论文及后续开源代码可通过 arXiv:2606.30017获取。

Q&A

Q1：Flux-GS相比Mobile-GS的主要优势是什么？
A：
1. 训练极速：Flux-GS仅需约11分钟，Mobile-GS需100分钟以上。
2. 流程简化：采用蒙特卡洛能量聚合替代知识蒸馏，无需训练大模型，流程更简洁。
3. 推理零开销：颜色增强模块在推理前“烘焙”，无实时计算负担；Mobile-GS需每帧运行神经网络，限制帧率。

Q2：球谐函数从三阶压缩到一阶，画质损失明显吗？
A：
视觉损失极小。在Mip-NeRF 360室内场景中，PSNR差距不足0.2dB（30.22 vs 30.41），肉眼难以察觉。主要差异体现在强烈镜面反射场景（如镜子、抛光金属），一阶球谐难以完全还原三阶的高清倒影细节。

Q3：Flux-GS生成的3D场景如何在手机上运行？
A：
采用 WebGL渲染框架，用户可直接在手机浏览器中打开，无需安装应用。通过 异步深度排序机制（CPU后台处理排序，GPU专注渲染），突破屏幕刷新率限制，在骁龙8 Gen 3等高端机型上实测可达130-150 FPS。