HuMoR: 강력한 포즈 추정을 위한 3D 인간 모션 모델(ICCV 2021)

HuMoR: 시간적 포즈와 모양의 견고한 추정 을 위한 3D 인간 모션 모델 을 소개 합니다 .

이번에 MIT license로 모델을 사용하는 코드가 공개되었습니다. RGB 또는 RGB-D 영상이 가능합니다. 공개자료의 결과는 매우 정교하네요

스탠퍼드 대학교, Adobe Research, 그리고 브라운 대학교에서 공동으로 진행한 프로젝트인 HuMoR에 대한 정보를 제공하고 있습니다. HuMoR은 3D 인간 동작 모델로, 임시적인 자세와 형태의 견고한 추정을 위해 개발되었습니다.

이 모델은 노이즈와 가림막이 있는 상황에서도 타당한 자세 시퀀스를 복구하는 것이 도전적인 문제로 인식하고 있습니다. 이를 위해, HuMoR은 동작 시퀀스의 각 단계에서 자세 변화의 분포를 학습하는 조건부 변분 오토인코더 형태의 발현 가능한 생성 모델을 제안합니다. 또한, HuMoR는 모션 사전으로 활용되어 모호한 관찰로부터 타당한 자세와 형태를 견고하게 추정하는 유연한 최적화 기반 접근법을 소개합니다.

HuMoR는 큰 AMASS 모션 캡처 데이터셋에 대해 학습한 후, 테스트 시간에 3D 인간 인식에 대한 모션 사전으로 사용됩니다. 이는 RGB(-D) 비디오와 2D 또는 3D 관절 시퀀스와 같은 다양한 입력 모달리티에서 노이즈와 부분적인 관찰로부터 견고한 결과를 제공합니다.

추가적으로, HuMoR은 독립적인 생성 모델로서 타당한 무작위 동작을 생성할 수 있습니다. 이는 테스트 세트의 몸 형태(왼쪽)와 동일한 초기 상태에서 시작하는 단일 몸(오른쪽)에 대한 동작 샘플을 보여줍니다.

RGB