CoDeF

CoDeF: Content Deformation Fields for Temporally Consistent Video Processing

코렙에서 바로 해볼수...
https://qiuyu96.github.io/CoDeF/

CoDeF

https://arxiv.org/abs/2308.07926

https://github.com/camenduru/CoDeF-colab

https://colab.research.google.com/github/camenduru/CoDeF-colab/blob/main/CoDeF_colab.ipynb

CoDeF_colab.ipynb

논문설명

콘텐츠 변형 필드 CoDeF를 새로운 유형의 비디오 표현으로 제시합니다. 

전체 비디오의 정적 콘텐츠를 집계하는 표준 콘텐츠 필드와 표준 이미지에서 변환을 기록하는 시간적 변형 필드(즉, 표준 콘텐츠에서 렌더링됨)로 구성됩니다. 필드) 시간 축을 따라 각 개별 프레임에.대상 비디오가 주어지면 이 두 필드는 신중하게 조정된 렌더링 파이프라인을 통해 재구성하도록 공동으로 최적화됩니다.최적화 프로세스에 일부 정규화를 도입하여 표준 콘텐츠 필드가 시맨틱을 상속하도록 촉구합니다. (예를 들어, 물체 모양). 이러한 설계로 CoDeF는 자연스럽게 비디오 처리를 위한 리프팅 이미지 알고리즘을 지원하며,표준 이미지에 이미지 알고리즘을 적용하고 시간적 변형 필드의 도움으로 결과를 전체 비디오에 쉽게 전파할 수 있다는 점에서 우리는 CoDeF가 이미지-이미지 변환을 비디오 to-video 번역 및 리프트 키포인트 감지에서 키포인트 추적까지.더 중요한 것은 하나의 이미지에만 알고리즘을 배치하는 리프팅 전략 덕분에 처리된 비디오에서 기존 비디오-투-비디오에 비해 월등한 크로스 프레임 일관성을 달성합니다. 접근하고 물과 스모그와 같은 딱딱하지 않은 물체를 추적할 수도 있습니다.프로젝트 페이지는 다음에서 찾을 수 있습니다.우리는 CoDeF가 교육 없이도 이미지 대 이미지 번역을 비디오 대 비디오 번역으로, 키포인트 감지를 키포인트 추적으로 끌어올릴 수 있음을 실험적으로 보여줍니다. 우리는 처리된 비디오에서 기존의 비디오 대 비디오 변환 접근 방식에 비해 월등한 크로스 프레임 일관성을 달성하고 심지어 물과 스모그와 같은 딱딱하지 않은 물체를 추적할 수 있습니다. 프로젝트 페이지는 다음에서 찾을 수 있습니다.우리는 CoDeF가 교육 없이도 이미지 대 이미지 번역을 비디오 대 비디오 번역으로, 키포인트 감지를 키포인트 추적으로 끌어올릴 수 있음을 실험적으로 보여줍니다. 우리는 처리된 비디오에서 기존의 비디오 대 비디오 변환 접근 방식에 비해 월등한 크로스 프레임 일관성을 달성하고 심지어 물과 스모그와 같은 딱딱하지 않은 물체를 추적할 수 있습니다. 프로젝트 페이지는 다음에서 찾을 수 있습니다.프로젝트 페이지는 다음에서 찾을 수 있습니다.프로젝트 페이지는 다음에서 찾을 수 있습니다