NVIDIA 100kB 모델 크기의 개인화 이미지 생성 모델 'Perfusion' 발표

NVIDIA가 최근 SIGGRAPH 2023에 accept된 'Key_Locked Rank One Editing for Text-to-Image Personalization'을 통해 100kB 크기에 약 4분 정도 학습을 하면 개인화된 이미지 생성 을 할 수 있는 모델 'Perfusion'을 공개하였습니다.

순수한 text로 부터 전체 image를 만드는 것이 아닌, concept를 지정하기 위한 예제 image를 몇개 입력 후 해당 concept를 포함하는 text를 입력하면 카타고리안에 들어가 있는  이미지를 생성하는 방식입니다.

코드는 곧 공개 예정이라고 합니다.
논문:https://research.nvidia.com/labs/par/Perfusion/

Key-Locked Rank One Editing for Text-to-Image Personalization

Comparing Lock Types

Zero-shot Transfer To Fine-tuned Models