lingbot-world

LingBot-World는 Wan2.2 아키텍처를 기반으로 구축된 오픈소스 세계 시뮬레이터 및 비디오 생성 프레임워크입니다. 이는 고충실도 시뮬레이션, 사실적·과학적·만화 등 다양한 시각 스타일에서의 강력한 역학, 그리고 분 단위 수평선에 걸친 장기 메모리 일관성을 제공하여 오픈소스 세계 모델을 발전시키도록 설계되었습니다. 이 모델은 초당 16프레임에서 1초 미만의 낮은 지연 시간을 달성하며 실시간 상호작용을 지원합니다. 주요 기능: - **고충실도 및 다양한 환경**: 다양한 시각 영역에서 복잡한 환경을 시뮬레이션할 수 있습니다. - **장기 메모리 및 일관성**: 긴 비디오 수평선에서 맥락적 일관성을 유지합니다. - **실시간 상호작용**: 낮은 지연 시간으로 상호작용 제어를 지원하며, 게임, 콘텐츠 생성, 로봇 학습에 적합합니다. - **유연한 제어 신호**: 카메라 포즈, 동작 시퀀스 또는 사용자 친화적인 동작 문자열(예: 이동 및 카메라 방향 명령)로 안내하거나 무조건적으로 실행할 수 있습니다. 모델 및 도구: - **LingBot-World-Base (Cam)**: 카메라 포즈 제어 모델로 480P 및 720P 해상도로 제공됩니다. - **LingBot-World-Base (Act)**: 텍스트 기반 동작 문자열을 지원하는 동작 제어 모델입니다. - **LingBot-World-Fast**: 인과 추론 및 KV 캐싱을 활용한 가속 버전으로, 청크 단위로 효율적인 프레임 생성을 제공합니다. - **양자화 모델**: GPU 메모리가 제한된 사용자를 위한 4비트 양자화 버전으로, 추론 전용이며 약간의 시각적 저하가 있을 수 있습니다. 기술 요구 사항 및 사용법: 이 프로젝트는 PyTorch(>= 2.4.0) 및 플래시 어텐션이 필요합니다. 추론 스크립트는 `torchrun`을 통한 다중 GPU 실행을 지원합니다. 모델 가중치는 HuggingFace 또는 ModelScope에서 다운로드할 수 있습니다. 저장소는 다양한 구성 옵션을 가진 이미지-투-비디오 생성 예제 스크립트를 제공합니다. 참고: 이 저장소는 더 이상 적극적으로 유지 관리되지 않습니다. 저자는 개발을 새로운 저장소인 LingBot-World-Infinity (v2)로 전환했습니다.