pytorch-lightning

PyTorch Lightningは、あらゆる規模のAIモデルを事前学習およびファインチューニングするために設計されたディープラーニングフレームワークであり、最小限のコード変更で単一CPUから数千GPUまでスケーリングできます。PyTorchコードを整理して科学的なモデルロジックをエンジニアリングインフラから分離し、バックプロパゲーション、混合精度、マルチGPU、分散トレーニングを自動化します。 このプロジェクトは2つのコアパッケージを提供します。高レベルのTrainerとLightningModuleの抽象化を提供するPyTorch Lightningと、LLM、拡散モデル、トランスフォーマーなどの複雑なモデル向けにトレーニングループとスケーリング戦略をエキスパートレベルで制御できるLightning Fabricです。ユーザーは必要な抽象化レベルを選択できます。 主な機能には、CPU、GPU、TPU、マルチノードセットアップにわたるハードウェア非依存のトレーニング、DDP、FSDP、DeepSpeedなどの分散戦略のサポート、混合精度、実験ロギング統合、早期停止、チェックポイント、TorchScriptまたはONNXへのエクスポートが含まれます。READMEには、純粋なPyTorchと比較して実行速度のオーバーヘッドが最小限であることが記載されています。 インストールはpipまたはcondaで行います。リポジトリには、画像分類、セグメンテーション、物体検出、テキスト分類、要約、音声生成、LLMファインチューニング、画像生成、レコメンデーションシステム、時系列予測をカバーする多数の例が含まれています。Apache 2.0ライセンスで提供され、PythonおよびPyTorchのバージョン、オペレーティングシステム、ハードウェアアクセラレータにわたって厳密にテストされています。