dvc

DVC (Data Version Control) — это инструмент командной строки и расширение для VS Code, созданный для обеспечения воспроизводимости проектов машинного обучения. Он предоставляет управление версиями в стиле Git для данных и моделей: артефакты данных хранятся в кэше за пределами Git (в облаке или локальном хранилище), а легкие мета-файлы в репозитории Git отслеживают их версии. Это позволяет командам совместно использовать большие наборы данных и модели без их прямого добавления в Git. Основные возможности включают: - Управление версиями данных и моделей: хранение данных в S3, Azure, Google Cloud, SSH или других удаленных хранилищах с отслеживанием версий в Git. - Легкие ML-пайплайны: определение вычислительных графов, связывающих код, данные и результаты. При изменениях запускаются только затронутые шаги. - Локальное отслеживание экспериментов: запуск, фильтрация и сравнение экспериментов по гиперпараметрам и метрикам с визуализацией графиков, без необходимости в выделенном сервере. - Сотрудничество: обмен и автоматическое воспроизведение экспериментов через существующие платформы хостинга Git. DVC можно установить через pip, conda, brew, choco, snap или пакеты для конкретной платформы. Дополнительные зависимости обеспечивают поддержку конкретных удаленных хранилищ (S3, Azure, GCS, OSS, SSH, Google Drive). Расширение для VS Code предлагает графический интерфейс для отслеживания экспериментов и управления данными. Проект распространяется под лицензией Apache License 2.0.