dvc

DVC（Data Version Control）は、機械学習プロジェクトの再現性を実現するために設計されたコマンドラインツールおよびVS Code拡張機能です。Gitのようなバージョン管理をデータとモデルに適用し、データアーティファクトはGitの外側（クラウドまたはオンプレミスのストレージ）にキャッシュされ、そのバージョン情報はGitリポジトリ内の軽量なメタファイルで追跡されます。これにより、チームはGitに直接チェックインすることなく、大規模なデータセットやモデルを共有できます。 主な機能には以下が含まれます： - データとモデルのバージョン管理：S3、Azure、Google Cloud、SSH、その他のリモートにデータを保存し、バージョン情報はGitで管理します。 - 軽量なMLパイプライン：コード、データ、出力を接続する計算グラフを定義します。変更が発生した場合、影響を受けたステップのみが再実行されます。 - ローカルでの実験トラッキング：ハイパーパラメータとメトリクスに基づいて実験を実行、フィルタリング、比較し、専用のサーバーを必要とせずに可視化プロットを表示します。 - コラボレーション：既存のGitホスティングプラットフォームを通じて、実験を共有し、自動的に再現します。 DVCは、pip、conda、brew、choco、snap、またはプラットフォーム固有のパッケージを介してインストールできます。オプションの依存関係により、特定のリモートストレージバックエンド（S3、Azure、GCS、OSS、SSH、Google Drive）のサポートが提供されます。VS Code拡張機能は、実験トラッキングとデータ管理のためのGUIを提供します。このプロジェクトは、Apache License 2.0の下で配布されています。