اوپن سورس۔ نئے امکانات۔

Dagster ایک کلاؤڈ نیٹو ڈیٹا پائپ لائن آرکسٹریٹر ہے جسے ڈیٹا اثاثوں (data assets) کی پوری لائف سائیکل کے دوران ان کی ڈویلپمنٹ، پروڈکشن اور آبزرویشن کے لیے ڈیزائن کیا گیا ہے۔

Prefect ایک Python پر مبنی ورک فلو آرکسٹریشن فریم ورک ہے جسے شیڈولنگ اور ری ٹرائیز جیسی خصوصیات کے ساتھ لچکدار ڈیٹا پائپ لائنز بنانے، خودکار کرنے اور ان کی نگرانی کے لیے ڈیزائن کیا گیا ہے۔

Argo Workflows ایک کنٹینر-نیٹو ورک فلو انجن ہے جو Kubernetes پر متوازی جابز کی ترتیب کے لیے استعمال ہوتا ہے، جسے Custom Resource Definition (CRD) کے طور پر نافذ کیا گیا ہے۔