ltx-2

LTX-2は、Lightricksが開発したオープンソースのPythonパッケージで、LTX-2オーディオ・ビデオ生成モデルの推論とファインチューニング（LoRA、IC-LoRA）を提供します。モノレポとして構成され、ltx-core（コアモデル実装と推論スタック）、ltx-pipelines（様々な生成タスクのための高レベルパイプライン）、ltx-trainer（トレーニングとファインチューニングツール）の3つの主要パッケージを含みます。 リポジトリの中心はLTX-2.5モデルで、同期したオーディオとビデオを生成できるDiffusion Transformer（DiT）ベースの基盤モデルです。このパッケージは、高速プロトタイピングから本番品質の出力まで、複数の生成モードをサポートしています。 主な機能と能力は以下の通りです： - 複数の推論パイプライン：高速なテキスト/画像からビデオ生成（わずか8ステップ）のためのDistilledPipeline、詳細化IC-LoRAによる本番品質の結果のためのDFRPipeline（Diffusion Fidelity Rendering）、ビデオからビデオへの変換、キーフレーム補間、オーディオからビデオ生成、ビデオリテイク、HDR出力、および吹き替え（DubIt）のための専門パイプラインが含まれます。 - モデルコンポーネント：Hugging Faceからのモデル重みのモジュール式ダウンロードをサポートし、22B蒸留または開発トランスフォーマー、Gemma 4 12Bテキストエンコーダー、ビデオおよびオーディオVAE、空間および時間アップスケーラー、LoRAアダプターが含まれます。 - 最適化とハードウェアサポート：VRAM使用量を削減するFP8量子化、HopperおよびBlackwell GPUでのFlashAttention 3/4のサポート、Linux+CUDAでの高速近傍注意デコードのためのnattenエクストラを提供します。 - プロンプティングとコントロール：アクション、カメラアングル、環境の詳細を説明する詳細で時系列的なプロンプトを推奨します。自動プロンプト拡張、期間予測、EXR/HDRワークフローをサポートします。 このリポジトリは包括的なCLIコマンドとPython APIアクセスを提供し、カスタムオーディオ・ビデオ生成アプリケーションを構築したい開発者、研究者、クリエイターにとって多用途なツールキットとなっています。