StructLDM: Structured Latent Diffusion for 3D Human Generation

최근 3D 인간 생성 모델은 2D 이미지에서 3D 인식 GAN을 학습함으로써 놀라운 발전을 이루었습니다. 그러나 기존의 3D 인간 생성 방법은 인간 신체 토폴로지의 관절 구조와 의미를 무시하고 컴팩트한 1D 잠재 공간에서 인간을 모델링합니다. 본 논문에서는 3D 인간 모델링을 위해 보다 표현력이 풍부하고 고차원적인 잠재 공간을 탐구하고 2D 이미지로부터 학습되는 확산 기반 무조건 3D 인간 생성 모델인 StructLDM을 제안합니다. StructLDM은 세 가지 주요 설계를 통해 잠재 공간의 고차원 성장으로 인해 발생하는 문제를 해결합니다. 1) 통계적 인체 템플릿의 조밀한 표면 다양체에 정의된 의미론적 구조의 잠재 공간. 2) 전역 잠재 공간을 본문 템플릿에 고정된 조건부 구조화된 로컬 NeRF 세트에 의해 매개변수화된 여러 의미론적 본문 부분으로 인수분해하는 구조화된 3D 인식 자동 디코더. 이는 2D 훈련 데이터에서 학습된 속성을 내장하고 디코딩할 수 있습니다. 다양한 포즈와 의복 스타일에 따라 뷰가 일관적인 인간을 렌더링합니다. 3) 생성적 인간 외모 샘플링을 위한 구조화된 잠재 확산 모델 . 광범위한 실험을 통해 StructLDM의 최첨단 생성 성능을 검증하고 잘 채택된 1D 잠재 공간에 대한 구조화된 잠재 공간의 표현력을 보여줍니다. 특히 StructLDM은 포즈/보기/모양 제어를 포함하여 다양한 수준의 제어 가능한 3D 인간 생성 및 편집과 구성 생성, 부분 인식 의류 편집, 3D 가상 시착 등을 포함한 높은 수준의 작업을 가능하게 합니다.

요약: StructLDM은 구조화된 2D 잠재 공간, 구조적 자동 디코더 및 구조화된 잠재 확산 모델이라는 3가지 주요 설계를 갖춘 2D 이미지 컬렉션에서 3D 인간 생성을 위한 새로운 패러다임(기존 3D GAN 대비)입니다.

StructLDM은 다양한 뷰 일관성 인간을 생성하고 a)에서 선택한 5개 부분을 혼합하여 구성 생성, ID 교환, 로컬 의류 편집, 3D 가상 시도와 같은 부분 인식 편집과 같은 다양한 수준의 제어 가능한 생성 및 편집을 지원합니다. 등. 생성 및 편집은 의복 유형이나 마스크 컨디셔닝 없이 의복에 구애받지 않습니다.

https://github.com/TaoHuUMD/StructLDM

GitHub - TaoHuUMD/StructLDM

 

https://nsarafianos.github.io/garment3dgen?fbclid=IwAR0Nuk6Kz27QA27sXgjowP92ZzYLnKwBUnN1_RlJL_UgjrkbrYYCfPgXzbM_aem_ARLkvIfk66g_1BHXL0-6DGsgQBbkx3cAQEkcg5fFjPQKeZ17wwhaQNr4giC83eQenk9Z6TNBg2ErungywJFnyUbp

Garment3DGen: 3D Garment Stylization and Texture Generation

https://hyblue.github.io/geo-srf/

Geometry Transfer for Stylizing Radiance Fields