SMPL

SMPL은 "Skinned Multi-Person Linear"의 약자로, 실시간 3D 인체 모델링을 위한 표준화된 소프트웨어 라이브러리입니다. 이는 간단한 입력 데이터, 예를 들면 사용자의 인체 치수와 포즈 정보, 그리고 카메라 이미지 등을 기반으로 고해상도의 인체 모델을 생성할 수 있습니다. SMPL은 인체의 피부와 관련된 세부 사항까지 고려하여 자연스러운 3D 모델을 만들어내는 데 사용됩니다. 이 모델은 가상 혹은 증강 현실 응용프로그램, 의류 시뮬레이션, 인체 움직임 분석 등 다양한 분야에서 활용됩니다.

신체 치수 입력으로도 간단한 아바타를 생성할수 있다는것에 흥미롭다.

https://meshcapade.com/

Meshcapade | The Digital Human Company

We combine computer vision and machine learning to convert images, videos, and even words into lifelike digital humans.

meshcapade.com

https://dancefirst.tistory.com/entry/SMPL-%ED%9C%B4%EB%A8%BC-%EB%AA%A8%EB%8D%B8-%EB%B0%8F-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0

SMPL 휴먼 모델 및 파라미터 이해하기

Overview ROMP를 비롯하여, 현재 공개되는 대부분의 Human Pose Estimation 인공지능 모델은 추정된 포즈 데이터 포맷으로 SMPL을 채택하고 있다. ROMP 출력 결과를 블렌더에 임포트하는 QuickMocap의 경우, 'pose

dancefirst.tistory.com

ROMP를 비롯하여, 현재 공개되는 대부분의 Human Pose Estimation 인공지능 모델은 추정된 포즈 데이터 포맷으로 SMPL을 채택하고 있다. ROMP 출력 결과를 블렌더에 임포트하는 QuickMocap의 경우, 'poses' / 'betas' / 'cam' 데이터를 활용하는데, 이러한 데이터가 정확히 무엇을 의미하는지를 이해하는 것은 노이즈 필터 적용을 위한 초석이 된다.

[1] SMPL은 크게 3단계 과정으로 작동한다.

1. 형태 정보로부터 메쉬 구축

2. 구축된 메쉬로부터 관절 위치 추정

3. 추정된 관절 위치를 기반으로 실제 포즈에 맞게 메쉬 변환

-> 포즈 데이터는 24개 관절 위치값으로 구성되므로, 최초 형태 정보로부터 구축된 3D 메쉬 품질을 따라간다.

[2] 기본적으로 모델에 입력하는 영상의 퀄리티는 중요하다.

SMPL은 기본적으로 인식된 인간 신체의 형태 정보로부터 출발하며, 형태 정보로부터 24개 관절 위치가 결정되기 때문이다. Pose Estimation 모델이 비디오로부터 인체 형태정보를 정확하게 인식하지 못한다면 SMPL 메쉬가 정상적으로 구축되지 않고, 따라서 24개 관절의 위치도 불확실해진다. 기본적으로 생각해볼 수 있는 영상 퀄리티의 세부 조건들은 다음을 생각해볼 수 있다.