Об этом проекте

Kedro — это открытый Python-фреймворк для создания production-ready конвейеров обработки данных и машинного обучения. Он применяет практики программной инженерии, помогая командам создавать воспроизводимые, поддерживаемые и модульные конвейеры. Проект размещен в LF AI & Data Foundation и выпущен под лицензией Apache 2.0. Основные функции, описанные в README: - Шаблон проекта: стандартный, настраиваемый шаблон проекта на основе Cookiecutter Data Science. - Каталог данных: легковесные коннекторы данных для сохранения и загрузки данных во множестве форматов и файловых систем, включая локальные и сетевые файловые системы, облачные объектные хранилища и HDFS. Также включает версионирование данных и моделей для файловых систем. - Абстракция конвейеров: автоматическое разрешение зависимостей между чистыми Python-функциями с визуализацией конвейеров через Kedro-Viz. - Стандарты кодирования: разработка через тестирование с pytest, документация с Sphinx, поддержка линтинга через ruff и использование стандартной библиотеки логирования Python. - Гибкое развертывание: развертывание на одной машине или распределенно, с дополнительной поддержкой Argo, Prefect, Kubeflow, AWS Batch и Databricks. Установка доступна из PyPI (uv pip install kedro) или conda-forge; последняя невыпущенная версия может быть установлена из ветки main. README содержит ссылки на руководство Get Started, учебник spaceflights, документацию по работе с Jupyter notebooks и справочник API. Проект заявляет, что был создан для устранения недостатков Jupyter notebooks, одноразовых скриптов и связующего кода, для улучшения совместной работы команд, где участники имеют разный уровень опыта в программной инженерии, и для поощрения переиспользуемого аналитического кода через модульность и разделение ответственности. Kedro поддерживает активно поддерживаемые версии Python; поддержка прекращается, когда версия Python достигает конца жизни. Отдельный пакет kedro-datasets следует политике NEP 29 и обычно прекращает поддержку версий Python раньше. Ресурсы сообщества включают Slack, архив Linen, технические FAQ, репозиторий awesome-kedro и регулярные публичные встречи Kedro Coffee Chat.