본문 바로가기

AI/Generative Video8

Runway Gen-2 image to video has been released! https://twitter.com/i/status/1683493099450793984 https://youtu.be/AvXNpIHjtOg https://youtu.be/Lym-1Q57QC4 2023. 8. 1.
RERENDER A VIDEO: ZERO-SHOT TEXT-GUIDED VIDEO-TO-VIDEO TRANSLATION 대형 텍스트 대 이미지 확산 모델은 고품질 이미지를 생성하는 데 인상적인 능력을 보여주었습니다. 그러나 이러한 모델을 비디오 도메인에 적용할 때 비디오 프레임 전체에서 시간적 일관성을 보장하는 것은 여전히 ​​어려운 과제입니다. 본 논문은 비디오에 이미지 모델을 적용하기 위한 새로운 제로샷 텍스트 가이드 비디오-비디오 변환 프레임워크를 제안합니다. 프레임워크에는 키 프레임 번역과 전체 비디오 번역의 두 부분이 포함됩니다. 첫 번째 부분은 적응된 확산 모델을 사용하여 키 프레임을 생성하고 계층적 교차 프레임 제약 조건을 적용하여 모양, 질감 및 색상의 일관성을 강화합니다. 두 번째 부분은 시간 인식 패치 일치 및 프레임 블렌딩을 사용하여 키 프레임을 다른 프레임으로 전파합니다. 우리의 프레임워크는 (재훈련.. 2023. 6. 18.
Dreamix Video AI Dreamix: 비디오 확산 모델은 일반적인 비디오 편집기입니다. 이미지 생성을 뛰어넘어 비디오 생성이 시작되었습니다. 아직 연속성등에서 튀는 부분들이 있지만 많은 기대를 해봅니다. 소스: https://dreamix-video-editing.github.io/ Dreamix: Video Diffusion Models are General Video Editors Given a video and a text prompt, Dreamix edits the video while maintaining fidelity to color, posture, object size and camera pose, resulting in a temporally consistent video. dreamix-video-edi.. 2023. 4. 17.
사진으로 동영상 생성 GEN-1 : RunWay 이미지 또는 텍스트 프롬프트의 구성과 스타일을 소스 비디오에 적용하여 현실적이고 일관되게 새로운 비디오를 합성합니다. 아무것도 촬영하지 않고 새로운 것을 촬영하는 것과 같습니다. https://www.youtube.com/watch?v=fTqgWkHiN0k https://d3phaj0sisr2ct.cloudfront.net/research/gen1/videos/subway/subway_input.mp4 https://d3phaj0sisr2ct.cloudfront.net/research/gen1/videos/subway/subway_generated.mp4 어려운 특수효과를 텍스트 기반으로 인공지능이 생성해냅니다. 일반인들도 다양한 고퀄리티 영상을 자유롭게 제작할 수 있는 길이 .. 2023. 3. 9.