عن المشروع

هذا المستودع عبارة عن مختبر تدريب شخصي على Apache Airflow، يركّز على تنسيق خطوط الأنابيب. وهو مُصاغ كجزء من خارطة طريق لتطوير المهارات نحو حزمة حديثة لهندسة البيانات تشمل أيضًا dbt وPostgreSQL وPySpark وDatabricks. الغرض المعلن هو بناء مهارات عملية في Airflow من خلال العمل التطبيقي بدلًا من أدوات الإنتاج. بنية المستودع بسيطة: دليل واحد باسم dags/ يحتوي على تعريفات DAG ومنطق خطوط الأنابيب. تشمل الموضوعات المذكورة كموضوعات مُغطّاة: بنية DAG وأفضل الممارسات، وتبعيات المهام وترتيب التنفيذ، والجدولة بتعابير cron، واستخدام PythonOperator وBashOperator، وXComs للتواصل بين المهام، وإدارة الاتصالات والمتغيرات. يوثّق ملف README سير عمل محليًا: تثبيت Apache Airflow عبر pip، وتهيئة قاعدة بيانات البيانات الوصفية باستخدام airflow db init، وتشغيل خادم الويب على المنفذ 8080، وتشغيل المجدول في طرفية منفصلة. ومن المتوقع أن تظهر ملفات DAG الموضوعة في مجلد ‎~/airflow/dags/‎ في واجهة Airflow. تشير خارطة طريق التعلّم إلى أن إعداد Airflow وتهيئته بالإضافة إلى إنشاء DAG الأساسي والجدولة قد اكتملا، بينما لا تزال DAGs الديناميكية ومجموعات المهام، وAirflow مع Docker Compose، والتكامل مع PostgreSQL وGCP دون تحديد. المشاريع ذات الصلة المشار إليها هي dbt_postgres_labs (طبقة تحويل dbt مع PostgreSQL) وPython-Practice (أساسيات Python لهندسة البيانات). وتشير الشارات إلى Apache Airflow وPython وDocker باعتبارها حزمة التقنيات. ولأن هذا مستودع تعلّم، فمن الأفضل التعامل معه كمرجع لأنماط DAG النموذجية وتسلسل إعداد محلي مقترح، وليس كمكتبة قابلة لإعادة الاستخدام أو منصة قابلة للنشر. ولا يوصف في README أي ترخيص أو مجموعة اختبارات أو تهيئة CI أو إرشادات مساهمة.