OPEN SOURCE, OPEN TO EVERYONE

Code ouvert. Horizons nouveaux.

Découvrez des projets open source de qualité, soumettez des projets anonymement, puis revendiquez et éditez votre propre projet.

Sélection humaine · Découvrez de bons projets open source4109découverts

Un peu de curiosité. Un monde de code ouvert.

THE FIRST COLLECTION
Topic: data-engineering清除
kestrakestra-io
NOUVEAU

Kestra est une plateforme d'orchestration open-source et pilotée par les événements, conçue pour les flux de données, d'IA et d'infrastructure, utilisant une interface YAML déclarative.

AutomatisationDéveloppementWorkflow automation
NOUVEAU

SolarisPKN-Stats est un système automatisé de collecte, de stockage et de mise à jour de statistiques de projets provenant de multiples plateformes vers des fichiers JSON structurés.

AutomatisationDonnéesData automation
airflowapache
NOUVEAU

Apache Airflow est une plateforme permettant de concevoir, d'ordonnancer et de surveiller des flux de travail sous forme de code, couramment utilisée pour les pipelines de données et l'orchestration AI/ML.

AutomatisationDonnéesWorkflow automation
delta-explaincdelmonte-zg
NOUVEAU

delta-explain visualise l’élagage des fichiers Delta Lake. Il lit les journaux de transaction pour montrer l’élagage de partitions et le saut basé sur les statistiques pour un prédicat donné, avec CLI, API Python, contrôle en CI et rapports JSON.

DéveloppementAutomatisationCLI & terminal
go-flowetl-madness
NOUVEAU

Flow est un moteur ETL et un orchestrateur de workflow haute performance, écrit en Go, à partir d'un seul binaire. Il dispose d'un constructeur web visuel intégré, de pipelines XML déclaratifs, de prise en charge multi-base de données et de télémétrie d'audit intégrée.

DonnéesAutomatisationData integration

Pipeline d'analyse en temps réel local utilisant un broker compatible Kafka (Redpanda) et PySpark Structured Streaming. Simule des événements clickstream, effectue une agrégation par fenêtres avec watermarking, le tout via docker-compose.

DéveloppementAutomatisationBackend & APIs