منصوبے کے بارے میں

یہ ریپوزٹری Apache Airflow کے لیے ایک ذاتی پریکٹس لیب ہے، جو پائپ لائن آرکیسٹریشن پر مرکوز ہے۔ اسے جدید ڈیٹا انجینئرنگ اسٹیک کی جانب اپ اسکلنگ روڈ میپ کا حصہ قرار دیا گیا ہے جس میں dbt، PostgreSQL، PySpark اور Databricks بھی شامل ہیں۔ بیان کردہ مقصد پروڈکشن ٹولنگ کے بجائے عملی کام کے ذریعے Airflow کی عملی مہارتیں بنانا ہے۔ ریپوزٹری کا ڈھانچہ کم سے کم ہے: ایک واحد dags/ ڈائریکٹری DAG تعریفات اور پائپ لائن لاجک رکھتی ہے۔ جن موضوعات کا احاطہ کیا گیا ہے ان میں DAG ساخت اور بہترین طریقے، ٹاسک انحصار اور عمل درآمد کی ترتیب، cron اظہار کے ساتھ شیڈولنگ، PythonOperator اور BashOperator کا استعمال، ٹاسکس کے درمیان رابطے کے لیے XComs، اور کنکشنز اور ویری ایبلز کا انتظام شامل ہیں۔ README ایک مقامی ورک فلو کی دستاویز کرتا ہے: pip کے ذریعے Apache Airflow انسٹال کریں، airflow db init کے ساتھ میٹاڈیٹا ڈیٹا بیس کو ابتدا کریں، پورٹ 8080 پر ویب سرور شروع کریں، اور الگ ٹرمینل میں شیڈولر چلائیں۔ ~/airflow/dags/ فولڈر میں رکھی گئی DAG فائلوں کا Airflow UI میں ظاہر ہونا متوقع ہے۔ سیکھنے کا روڈ میپ Airflow سیٹ اپ اور کنفیگریشن کے ساتھ ساتھ بنیادی DAG تخلیق اور شیڈولنگ کو مکمل نشان زد کرتا ہے، جبکہ ڈائنامک DAGs اور ٹاسک گروپس، Docker Compose کے ساتھ Airflow، اور PostgreSQL اور GCP کے ساتھ انٹیگریشن ابھی غیر نشان زد ہیں۔ حوالہ جات میں شامل متعلقہ پروجیکٹس dbt_postgres_labs (ایک dbt اور PostgreSQL ٹرانسفارمیشن لیئر) اور Python-Practice (ڈیٹا انجینئرنگ کے لیے Python بنیادیات) ہیں۔ بیجز Apache Airflow، Python اور Docker کو ٹیکنالوجی اسٹیک کے طور پر ظاہر کرتے ہیں۔ چونکہ یہ ایک سیکھنے کی ریپوزٹری ہے، اس لیے اسے دوبارہ قابل استعمال لائبریری یا قابل تعینات پلیٹ فارم کے بجائے مثال DAG پیٹرنز اور تجویز کردہ مقامی سیٹ اپ ترتیب کے حوالے کے طور پر بہتر سمجھا جائے۔ README میں کوئی لائسنس، ٹیسٹ سوٹ، CI کنفیگریشن یا تعاون کی ہدایات بیان نہیں کی گئیں۔