Modify Video AI 모델 가이드

Luma Modify Video(luma/modify-video)는 Luma AI가 개발한 Video-to-Video 변환 모델로, 기존 영상에 텍스트 프롬프트와 스타일 트랜스퍼를 적용해 새로운 영상을 생성합니다. 원본의 구조와 움직임을 유지하면서 시각적 스타일, 색감, 분위기를 자유롭게 변형할 수 있으며 CRAISEE 플랫폼에서 사용 가능합니다.

adhere 모드는 원본에 가장 충실하게 미묘한 스타일 보정을 적용하고, flex 모드는 중간 수준의 변형으로 균형 잡힌 결과를 제공합니다. reimagine 모드는 원본과 완전히 다른 시각적 세계관으로 드라마틱하게 재해석합니다. 각 모드는 1~3단계 강도로 세분화되어 총 9단계 조절이 가능합니다.

Modify Video는 최대 100MB 이하, 재생 시간 30초 이하의 영상 파일을 처리할 수 있습니다. MP4 형식을 권장하며, 이 범위를 초과하는 장편 영상은 다른 모델이나 별도 편집 도구를 사용하는 것이 좋습니다.

Modify Video의 프롬프트는 영어로 작성하는 것을 권장합니다. 영어로 구체적이고 시각적인 표현을 사용할수록 더 정확한 결과를 얻을 수 있습니다. 한국어 프롬프트는 모델이 의도를 정확히 해석하지 못할 수 있어 결과 품질이 저하될 수 있습니다.

실사 영상을 애니메이션이나 일러스트 스타일로 변환할 때는 reimagine_2 또는 reimagine_3 모드를 사용하는 것이 가장 효과적입니다. 이 모드는 원본과 완전히 다른 시각적 스타일로 드라마틱하게 재해석하여 애니메이션 특유의 질감과 색감을 구현합니다.

Modify Video는 기존 영상을 입력으로 받아 스타일을 변환하는 Video-to-Video 모델로, 원본의 구조와 움직임을 보존합니다. 반면 텍스트-투-비디오 모델은 텍스트 설명만으로 영상을 처음부터 생성합니다. 이미 촬영된 영상의 스타일을 바꾸려면 Modify Video가, 새 영상을 만들려면 텍스트-투-비디오 모델이 적합합니다.

처음 사용하는 경우 기본값인 adhere_1 모드부터 시작하는 것을 권장합니다. 원본 영상에 가장 충실한 결과를 제공하므로 모델의 동작 방식을 파악하기 쉽습니다. 결과를 확인한 후 원하는 변형 수준에 따라 flex나 reimagine 모드로 단계적으로 강도를 높여가세요.

퍼스트 프레임 가이드는 수정된 첫 번째 프레임 이미지를 입력하여 변형 방향을 시각적으로 제어하는 기능입니다. 원하는 최종 스타일의 이미지를 첫 프레임으로 제공하면 모델이 해당 시각적 방향성을 참고하여 전체 영상을 일관되게 변환합니다. 특정 색감이나 스타일을 정밀하게 지정할 때 유용합니다.