<aside> 📎

https://chehun16.github.io/gs-quality/

</aside>

Abstract

This study proposes a method to enhance the quality of indoor 3D reconstruction based on 3D Gaussian Splatting (3DGS) using Polycam. The approach generates novel view camera poses, improves them with DIFIX, and incorporates geometry-aware loss terms to further refine reconstruction quality. The geometry-aware loss includes a perceptual loss applied only to novel views and normal and depth consistency losses applied to all views. These improvements enhance the accuracy of geometry reconstruction, strengthen multi-view consistency, and reduce artifacts in the reconstructed scenes. Experimental results show that the proposed method increases PSNR from 20.423 to 21.675 and SSIM from 0.856 to 0.862 compared to the original 3DGS.

본 연구는 Polycam을 활용한 3D Gaussian Splatting(3DGS) 기반의 실내 3D reconstruction 품질을 향상시키는 방법을 제안합니다. Novel view camera pose 생성 후 DIFIX 기반 품질 향상과 geometry-aware loss term을 도입하여 재구성 품질을 개선하였습니다. Geometry-aware loss에는 novel view에만 적용되는 perceptual loss와 모든 뷰에 적용되는 normal 및 depth consistency loss가 포함됩니다. 이러한 개선을 통해 geometry 복원의 정확성, multi-view consistency, 그리고 재구성 장면의 artifact가 개선되었습니다. 실험 결과, 제안한 방법은 기존 3DGS 대비 PSNR이 20.423에서 21.675로, SSIM이 0.856에서 0.862로 향상되었습니다.

Introduction

Limitations of 3DGS

3D Gaussian Splatting(3DGS)은 realistic 3D reconstruction 기법입니다. 하지만 scene을 렌더링할 때 artifact가 발생하거나 일부 영역이 비어 보이는 문제가 있습니다.

이러한 현상의 주요 원인을 다음과 같이 정리할 수 있습니다:

1. Multi view consistency 부족
   • Training view에 포함되지 않은 영역들이 부정확하게 reconstruction 될 수 있음.
2. 제한적인 loss term 구성
   • L1 loss와 SSIM loss만 고려해서 정확한 geometry를 복원하기 어려운 한계가 있음.

Contribution

1. Novel view camera pose 생성
   • Spatial coverage를 늘리고, viewpoint들 간에 consistency가 있도록 하였습니다.
   • DIFIX로 novel view camera pose에서 렌더링된 scene의 artifact를 제거하였습니다.
2. 추가적인 Loss term 도입
   1. Novel view에 대해서만 perceptual LPIPS loss 추가하여 픽셀 정보 뿐만 아니라 구조적 디테일을 보존하였습니다.
   2. 전체 view에 대해 normal consistency loss와 depth smoothness loss를 적용해서 geometry reconstruction 품질을 높였습니다.

Related Works

3DGS

<aside> 🚨 3DGS ❓

3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023)

3차원 공간에 있는 점들을 Gaussian 분포로 표현하여 3D 데이터의 밀도와 형태를 효과적으로 시각화하는 3D reconstruction 기법입니다.

</aside>