프로젝트 소개

LTX-Video는 Lightricks가 개발한 오픈소스 DiT 기반 영상 생성 모델입니다. 텍스트-영상 생성, 이미지-영상 생성, 영상 확장(전방/후방), 다중 키프레임 조건 설정 및 키프레임 기반 애니메이션, 영상-영상 변환, 동기화된 오디오 생성(LTX-2) 등의 핵심 기능을 단일 모델에 통합했습니다. 하나의 추론 단계에서 네이티브 4K 해상도, 최대 50FPS, 동기화된 오디오를 포함한 고품질 영상을 생성할 수 있습니다. 저장소에는 13B 및 2B 파라미터 버전, 빠른 추론용 디스틸 모델, VRAM 사용량을 줄인 FP8 양자화 버전 등 여러 모델 변형이 제공됩니다. 디스틸 모델은 적절한 하드웨어에서 초 단위로 HD 영상을 생성하며 LoRA 변형 2B 모델은 1GB VRAM만 필요합니다. LTX-Video는 ComfyUI, Diffusers와 연동되며 Python 라이브러리 API도 제공합니다. 깊이, 포즈, Canny 에지 조건 설정용 컨트롤 모델과 스타일 사용자화를 위한 LoRA 파인튜닝을 지원합니다. 상업적 이용이 가능한 OpenRAIL-M 라이선스로 배포됩니다. 커뮤니티 기여로 고급 편집 워크플로우용 ComfyUI-LTXTricks(RF-Inversion, RF-Edit, FlowEdit), NVIDIA ADA GPU용 8비트 최적화 추론인 LTX-VideoQ8, 학습 없이 추론을 가속화하는 TeaCache 등이 있습니다. 후속 모델인 LTX-2는 동기화된 오디오-영상 생성, 더 긴 클립 지원, 향상된 창의적 제어를 추가했습니다.