dvc

DVC (Data Version Control) est un outil en ligne de commande et une extension VS Code conçu pour rendre les projets de machine learning reproductibles. Il apporte un contrôle de version à la manière de Git aux données et aux modèles : les artefacts de données sont stockés dans un cache en dehors de Git (dans le cloud ou sur site), tandis que des fichiers méta légers dans le dépôt Git suivent leurs versions. Cela permet aux équipes de partager de grands jeux de données et des modèles sans les enregistrer directement dans Git. Les principales fonctionnalités incluent : - Versioning de données et de modèles : stockez les données dans S3, Azure, Google Cloud, SSH ou d’autres remotes, tout en gardant les informations de version dans Git. - Pipelines ML légers : définissez des graphes de calcul connectant le code, les données et les sorties. Lorsque des changements surviennent, seules les étapes impactées sont ré-exécutées. - Suivi d’expériences local : lancez, filtrez et comparez les expériences par hyperparamètres et métriques, avec des graphiques de visualisation, le tout sans serveur dédié. - Collaboration : partagez et reproduisez automatiquement les expériences via les plateformes d’hébergement Git existantes. DVC peut être installé via pip, conda, brew, choco, snap ou des packages spécifiques à la plateforme. Les dépendances optionnelles fournissent le support de backends de stockage remote spécifiques (S3, Azure, GCS, OSS, SSH, Google Drive). L’extension VS Code offre une interface graphique pour le suivi des expériences et la gestion des données. Le projet est distribué sous la licence Apache 2.0.