D3GA - Drivable 3D Gaussian Avatars

배우 1 | 테스트 | 360°  왼쪽부터: 관절 각도, 예측 신체 케이지, 예측 상부 케이지, 예측 하부 케이지, 3D 가우시안, 의류 부품, 최종 이미지
https://zielon.github.io/d3ga/

D3GA - Drivable 3D Gaussian Avatars

우리는 가우스 스플랫(Gaussian splats )으로 렌더링된 인체에 대한 최초의 3D 제어 가능 모델인 Drivable 3D Gaussian Avatars( D3GA )를 제시합니다 . 현재의 사실적인 운전 가능 아바타에는 훈련 중 정확한 3D 등록, 테스트 중 조밀한 입력 이미지 또는 둘 다가 필요합니다. 신경 방사 필드를 기반으로 하는 것 역시 텔레프레즌스 응용 분야에서 엄청나게 느린 경향이 있습니다.

이 작업은 최근 제시된 3DGS(3D Gaussian Splatting) 기술을 사용하여 조밀하게 보정된 다중 뷰 비디오를 입력으로 사용하여 실시간 프레임 속도로 사실적인 인간을 렌더링합니다. 이러한 프리미티브를 변형하기 위해 일반적으로 사용되는 LBS(선형 블렌드 스키닝)의 점 변형 방법에서 벗어나 고전적인 체적 변형 방법인 케이지 변형을 사용합니다. 크기가 작기 때문에 통신 응용 분야에 더 적합한 관절 각도와 키포인트를 사용하여 이러한 변형을 유도합니다. 다양한 체형, 옷, 동작을 가진 9명의 피험자를 대상으로 한 실험은 동일한 훈련 및 테스트 데이터를 사용할 때 최첨단 방법보다 더 높은 품질의 결과를 얻습니다.

배우 2 | 테스트 | 360° 

다중 뷰 비디오가 제공되면 D3GA는 사면체 케이지에 내장된 3D 가우스 구성으로 표현되는 구동 가능한 사실적인 3D 인간 아바타를 학습합니다. 가우시안은 이러한 케이지에 의해 변환되고 MLP로 색상이 지정되며 스플랫으로 래스터화됩니다. 우리는 운전 가능한 인간을 계층화된 3D 가우시안 세트로 표현하여 아바타를 다양한 천 레이어로 분해할 수 있습니다.

동영상

https://www.youtube.com/watch?v=C4IT1gnkaF0
배우 3 | 테스트 | 360°  배우 4 | 테스트 | 360°  배우 5 | 테스트 | 360°  배우 6 | 테스트 | 360°
액터 7 | 테스트 | 360°
액터 8 | 테스트 | 360°
액터 9 | 테스트 | 360°