À propos du projet

Ce dépôt est un laboratoire personnel pour Apache Airflow, axé sur l'orchestration de pipelines. Il s'inscrit dans une feuille de route de montée en compétences vers une stack data engineering moderne incluant également dbt, PostgreSQL, PySpark et Databricks. L'objectif déclaré est de développer des compétences pratiques en Airflow grâce à un travail concret plutôt qu'à des outils de production. La structure du dépôt est minimale : un seul répertoire dags/ contient les définitions de DAG et la logique des pipelines. Les sujets couverts incluent la structure des DAG et les bonnes pratiques, les dépendances de tâches et l'ordre d'exécution, la planification avec des expressions cron, l'utilisation de PythonOperator et BashOperator, les XComs pour la communication entre tâches, et la gestion des connexions et variables. Le README documente un flux de travail local : installer Apache Airflow via pip, initialiser la base de données de métadonnées avec airflow db init, démarrer le serveur web sur le port 8080, et exécuter le scheduler dans un terminal séparé. Les fichiers DAG placés dans le dossier ~/airflow/dags/ devraient apparaître dans l'interface Airflow. Une feuille de route d'apprentissage marque l'installation et la configuration d'Airflow ainsi que la création et la planification de DAG de base comme terminées, tandis que les DAG dynamiques et les groupes de tâches, Airflow avec Docker Compose, et l'intégration avec PostgreSQL et GCP restent non cochés. Les projets liés référencés sont dbt_postgres_labs (une couche de transformation dbt plus PostgreSQL) et Python-Practice (les fondamentaux Python pour l'ingénierie des données). Les badges indiquent Apache Airflow, Python et Docker comme stack technologique. Comme il s'agit d'un dépôt d'apprentissage, il est préférable de le traiter comme une référence pour des exemples de motifs de DAG et une séquence d'installation locale suggérée plutôt que comme une bibliothèque réutilisable ou une plateforme déployable. Aucune licence, suite de tests, configuration CI ou directives de contribution ne sont décrites dans le README.