Marigold

Marigold: 단안 깊이 추정을 위한 확산 기반 이미지 생성기 용도 변경

작동 원리

미세 조정 프로토콜

사전 훈련된 Stable Diffusion에서 시작하여 이미지를 인코딩합니다.엑스그리고 깊이디원래의 Stable Diffusion VAE를 사용하여 잠재 공간에 삽입합니다. 우리는 깊이 잠재 코드와 관련하여 표준 확산 목표를 최적화하여 U-Net만 미세 조정합니다. 이미지 조절은 두 개의 잠재 코드를 U-Net에 공급하기 전에 연결하여 수행됩니다. U-Net의 첫 번째 레이어는 연결된 잠재 코드를 허용하도록 수정되었습니다.

• 프로젝트:https://marigoldmonodepth.github.io/
• 논문:https://arxiv.org/abs/2312.02145
• 코랩:https://colab.research.google.com/drive/12G8reD13DdpMie5ZQlaFNo2WCGeNUH-u?usp=sharing
• 데모:https://huggingface.co/spaces/toshas/marigold
• 모델:https://huggingface.co/Bingxin/Marigold
• 소스:https://github.com/prs-eth/Marigold

 

FomfyUI에서도 연동 사용 가능합니다.

https://github.com/kijai/ComfyUI-Marigold

GitHub - kijai/ComfyUI-Marigold: Marigold depth estimation in ComfyUI