منصوبے کے بارے میں
Dagster ایک آرکسٹریشن پلیٹ فارم ہے جو ٹیبلز، ڈیٹا سیٹس، مشین لرننگ ماڈلز اور رپورٹس جیسے ڈیٹا اثاثوں کی ڈویلپمنٹ اور دیکھ بھال پر مرکوز ہے۔ یہ ایک ڈیکلیریٹو پروگرامنگ ماڈل کا استعمال کرتا ہے جہاں صارفین ڈیٹا اثاثوں کو Python فنکشنز کے طور پر بیان کرتے ہیں، جس سے سسٹم کو ایگزیکیوشن کی ٹائمنگ اور اثاثوں کی اپ ڈیٹس کو مینیج کرنے کی اجازت ملتی ہے۔
اہم صلاحیتوں میں شامل ہیں:
- ڈیٹا فلو کو ٹریک کرنے اور کارکردگی کے مسائل کی تشخیص کے لیے مربوط lineage اور observability۔
- اثاثوں کی تخلیق اور ٹاسک مینجمنٹ کے لیے ایک ڈیکلیریٹو طریقہ کار۔
- مکمل ڈویلپمنٹ لائف سائیکل کے لیے سپورٹ، بشمول لوکل ڈویلپمنٹ، یونٹ ٹیسٹنگ، انٹیگریشن ٹیسٹنگ اور پروڈکشن ڈیپلائمنٹ۔
- مرکزی میٹا ڈیٹا، کیٹلاگنگ اور تشخیص کے لیے ایک متحد کنٹرول پلین۔
- مختلف مقبول ڈیٹا ٹولز اور انفراسٹرکچر کے لیے انٹیگریشنز کی لائبریری۔
Dagster PyPI پر دستیاب ہے اور Python ورژن 3.9 سے 3.14 تک کو سپورٹ کرتا ہے۔