발표자료 - pose with style

------------------------------------------------------
프로젝트:
Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN


배경: 온라인 쇼핑몰등의 패션상품을 선택시 입어볼 수 없고 크기도 상품과 업체마다 달라 반품이 발생하는 경우가 있음.
착의하지 않고 미리 입어본 모습을 볼수 있도록 하여 고객 만족과 반품율을 줄일수 있을것으로 기대함.
이미지 기반 가상착용은 주어진 의류 아이템을 착용한 사람의 이미지를 합성하는 것을 목표로 합니다

사용기술: Conditional StyleGAN
조건부 이미지 생성은 클래스에 따라 조건부 데이터 세트에서 새 이미지를 생성하는 작업입니다.

의류 또는 안경 및 메이크업과 같은 기타 항목의 가상 시착. 가장 최근의 기술은 GAN(Generative Adversarial Networks)를 사용합니다.
https://paperswithcode.com/paper/pose-with-style-detail-preserving-pose-guided

 

------------------------------------------------------

pose with style을 분석함.
------------------------------------------------------

결론

향후 과제
기존에 학습되어져 있는 모델을 기반으로 아키텍쳐를 새로운 목적(나의 이미지 데이터에 맞게)변형하고 이미 학습된 모델 Weights로 부터 학습을 업데이트하는 Fine Tuning진행

1)Detectron2를 이용한 iuv생성
-추가학습 및 find tunning을 통한 texture map의 정확도를 높임

2)silhouatte의 정밀도와 속도를 높이기 위한 기술(image segmentation)
-SAM (Segment Anything Model : Meta): MIT License
https://github.com/facebookresearch/segment-anything

3)학습데이터 
연구목적으로사용허가, 상업목적은 않되거나 연락필요
-DeepFashion Dataset : non-commercial
http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html
-DeepFashion2 Dataset : 
https://github.com/switchablenorms/DeepFashion2
-FashionNet
https://www.fashionnet.or.kr/
https://wenect.tistory.com/11
https://ecosystem.supervise.ly/projects/persons#download
https://github.com/aimagelab/dress-code

------------------------------------------------------
파인튜닝
https://eehoeskrap.tistory.com/186