dolphinscheduler

Apache DolphinScheduler est une plateforme moderne d'orchestration de données conçue pour le développement agile et low-code de workflows performants. Elle simplifie la gestion des dépendances complexes entre tâches dans les pipelines de données et fournit une large gamme de types de tâches intégrés prêts à l'emploi. Les principales fonctionnalités incluent : - **Déploiement facile** : prend en charge quatre modes de déploiement—Standalone, Cluster, Docker et Kubernetes. - **Facilité d'utilisation** : les workflows peuvent être créés et gérés via l'interface Web, le SDK Python ou l'Open API. - **Haute fiabilité et disponibilité** : architecture décentralisée multi-master et multi-worker avec mise à l'échelle horizontale native. - **Haute performance** : capable de traiter des dizaines de millions de tâches par jour, plusieurs fois plus rapidement que d'autres plateformes d'orchestration. - **Cloud Native** : orchestre des workflows sur plusieurs clouds et centres de données, avec prise en charge de types de tâches personnalisés. - **Versionnage des workflows** : fournit un contrôle de version pour les workflows et les instances individuelles, y compris les tâches. - **Contrôle flexible de l'état** : permet de mettre en pause, d'arrêter et de reprendre les workflows et les tâches à tout moment. - **Prise en charge multi-locataires** : permet des environnements isolés pour différentes équipes ou projets. - **Fonctionnalités supplémentaires** : prise en charge du backfill, contrôle des permissions pour les projets et les sources de données, et plus encore. Des guides QuickStart sont disponibles pour les déploiements Standalone, Docker, Kubernetes et Terraform. L'interface utilisateur comprend une page d'accueil avec des aperçus des projets et des workflows, la définition de workflow par glisser-déposer, une vue arborescente des relations entre tâches, la gestion des sources de données pour MySQL, PostgreSQL, Hive, Trino, etc., et la surveillance en temps réel de l'état des master, worker et base de données. DolphinScheduler fait partie du CNCF Cloud Native Landscape et accueille favorablement les contributions de la communauté. Les utilisateurs peuvent signaler des problèmes, rejoindre les discussions via GitHub, suivre sur Twitter ou s'abonner aux listes de diffusion pour les utilisateurs et les développeurs.