kestra

Kestra est une plateforme d'orchestration qui unifie l'automatisation planifiée et pilotée par les événements. Elle permet aux utilisateurs de construire des flux de travail fiables à l'aide d'une interface YAML déclarative, laquelle peut être gérée via un éditeur de code UI intégré ou intégrée à Git pour les pratiques d'Infrastructure as Code (IaC). Les capacités clés incluent : - Gestion des flux de travail : Prend en charge les namespaces, les labels, les sous-flux, les tentatives (retries), les délais d'expiration (timeouts), le branchement conditionnel et les tâches dynamiques. - Exécution et mise à l'échelle : Conçue pour la haute disponibilité et la tolérance aux pannes, capable de gérer des millions de flux de travail. Elle prend en charge l'exécution locale, les serveurs distants via SSH et les conteneurs serverless via des Task Runners, notamment Docker et Kubernetes. - Écosystème de plugins : Fournit des centaines de plugins intégrés pour l'extraction de bases de données, le stockage cloud et les interactions API. Elle prend en charge le scripting dans plusieurs langages, dont Python, Node.js, R, Go et Shell. - Déclencheurs pilotés par les événements : Peut réagir en temps réel à des événements externes tels que l'arrivée de fichiers ou des messages provenant de Kafka, Redis, Pulsar, AMQP, MQTT, NATS, AWS SQS, Google Pub/Sub et Azure Event Hubs. - Outils visuels : Dispose d'un Topology Editor pour l'agencement des tâches par glisser-déposer, une validation syntaxique en temps réel, l'auto-complétion et une vue DAG (Directed Acyclic Graph) en direct. - Intégrations : Propose un fournisseur Terraform officiel et prend en charge l'intégration de pipelines CI/CD pour le déploiement des flux.