Virtual Tryon IDM-VTON

AI 모델로 패션 상세 페이지 5분 만에 만드는 법

본 논문에서는 사람과 의복을 각각 묘사하는 한 쌍의 이미지가 주어지면 선별된 의복을 입고 있는 사람의 이미지를 렌더링하는 이미지 기반 가상 시착을 고려합니다. 이전 작업에서는 가상 시착을 위해 기존 예시 기반 인페인팅 확산 모델을 적용하여 다른 방법(예: GAN 기반)에 비해 생성된 시각적 자연성을 향상시켰지만 의류의 정체성을 유지하지 못했습니다. 이러한 한계를 극복하기 위해 우리는 의류 충실도를 향상시키고 실제 가상 시착 이미지를 생성하는 새로운 확산 모델을 제안합니다. IDM-VTON이라는 우리의 방법은 두 가지 다른 모듈을 사용하여 의류 이미지의 의미를 인코딩합니다. 확산 모델의 기본 UNet이 주어지면 1) 시각적 인코더에서 추출된 상위 수준 의미 체계가 교차 어텐션 레이어에 융합되고, 2) 병렬 UNet에서 추출된 하위 수준 기능이 셀프 어텐션 레이어에 융합됩니다. 층. 또한 생성된 영상의 신뢰성을 높이기 위해 의상과 사람 이미지 모두에 대한 자세한 텍스트 프롬프트를 제공합니다. 마지막으로, 한 쌍의 사람-의복 이미지를 사용하여 충실도와 진정성을 크게 향상시키는 사용자 정의 방법을 제시합니다. 우리의 실험 결과는 우리의 방법이 의류 세부 사항을 보존하고 실제 가상 시착 이미지를 생성하는 데 있어 질적, 양적 측면에서 이전 접근 방식(확산 기반 및 GAN 기반 모두)보다 우수한 것으로 나타났습니다. 또한 제안된 사용자 정의 방법은 실제 시나리오에서 그 효율성을 입증합니다. 우리 프로젝트 페이지에서 더 많은 시각화를 볼 수 있습니다.

많이 좋아졌다.

https://youtu.be/pJ2-yntlp5A

 

https://github.com/yisol/IDM-VTON

GitHub - yisol/IDM-VTON: IDM-VTON : Improving Diffusion Models for Authentic Virtual Try-on in the Wild

https://idm-vton.github.io/

IDM-VTON