Об этом проекте

Apache DolphinScheduler — это современная платформа оркестрации данных, предназначенная для гибкой low-code разработки высокопроизводительных рабочих процессов. Она упрощает обработку сложных зависимостей задач в конвейерах данных и предоставляет широкий набор встроенных типов заданий из коробки. Ключевые возможности включают: - **Простое развертывание**: Поддерживает четыре режима развертывания — Standalone, Cluster, Docker и Kubernetes. - **Простота использования**: Рабочие процессы можно создавать и управлять ими через веб-интерфейс, Python SDK или Open API. - **Высокая надежность и доступность**: Децентрализованная архитектура с несколькими мастерами и несколькими рабочими узлами с нативным горизонтальным масштабированием. - **Высокая производительность**: Способна обрабатывать десятки миллионов задач в день, в несколько раз быстрее других платформ оркестрации. - **Облачная нативность**: Оркестрирует рабочие процессы в нескольких облаках и центрах обработки данных с поддержкой пользовательских типов задач. - **Версионирование рабочих процессов**: Обеспечивает контроль версий для рабочих процессов и отдельных экземпляров, включая задачи. - **Гибкое управление состоянием**: Поддерживает паузу, остановку и возобновление рабочих процессов и задач в любое время. - **Поддержка мультитенантности**: Обеспечивает изолированные среды для разных команд или проектов. - **Дополнительные функции**: Поддержка обратного заполнения, контроль разрешений для проектов и источников данных и многое другое. Руководства по быстрому старту доступны для развертывания в Standalone, Docker, Kubernetes и Terraform. Пользовательский интерфейс включает главную страницу с обзором проектов и рабочих процессов, перетаскивание определений рабочих процессов, древовидное представление связей задач, управление источниками данных для MySQL, PostgreSQL, Hive, Trino и других, а также мониторинг состояния мастеров, рабочих узлов и базы данных в реальном времени. DolphinScheduler является частью CNCF Cloud Native Landscape и приветствует вклад сообщества. Пользователи могут сообщать о проблемах, участвовать в обсуждениях через GitHub, следить в Twitter или подписаться на списки рассылки для пользователей и разработчиков.