airflow_prac

Este repositório é um laboratório de prática pessoal para Apache Airflow, focado em orquestração de pipelines. Ele faz parte de um roteiro de qualificação para uma stack moderna de engenharia de dados que também inclui dbt, PostgreSQL, PySpark e Databricks. O propósito declarado é desenvolver habilidades práticas em Airflow por meio de trabalho hands-on, em vez de ferramentas de produção. A estrutura do repositório é mínima: um único diretório dags/ contém as definições de DAGs e a lógica dos pipelines. Os tópicos listados como cobertos incluem estrutura de DAGs e melhores práticas, dependências de tarefas e ordem de execução, agendamento com expressões cron, uso de PythonOperator e BashOperator, XComs para comunicação entre tarefas e gerenciamento de conexões e variáveis. O README documenta um fluxo de trabalho local: instalar o Apache Airflow via pip, inicializar o banco de dados de metadados com airflow db init, iniciar o servidor web na porta 8080 e executar o agendador em um terminal separado. Arquivos de DAG colocados na pasta ~/airflow/dags/ devem aparecer na interface do Airflow. Um roteiro de aprendizado marca a configuração do Airflow e a criação e agendamento básicos de DAGs como concluídos, enquanto DAGs dinâmicos e grupos de tarefas, Airflow com Docker Compose e integração com PostgreSQL e GCP permanecem não marcados. Projetos relacionados referenciados são dbt_postgres_labs (uma camada de transformação com dbt e PostgreSQL) e Python-Practice (fundamentos de Python para engenharia de dados). Os selos indicam Apache Airflow, Python e Docker como a stack tecnológica. Por ser um repositório de aprendizado, é melhor tratá-lo como referência para exemplos de padrões de DAGs e uma sequência sugerida de configuração local, em vez de uma biblioteca reutilizável ou plataforma implantável. Nenhuma licença, suíte de testes, configuração de CI ou diretrizes de contribuição são descritas no README.