اوپن سورس۔ نئے امکانات۔

AWS پر مکمل طور پر سرورلیس کلک سٹریم ڈیٹا پیپ لائن جو API Gateway، Kinesis، Firehose، Lambda اور Athena کا استعمال کرتے ہوئے کلک ایونٹس کو پروسیس کر کے Parquet فارمیٹ میں ذخیرہ کرتی ہے۔

Flow ایک واحد-بائنری، اعلیٰ کارکردگی کا ETL انجن اور ورکفلو آرکیسٹریٹر ہے جو Go میں لکھا گیا ہے۔ اس میں ایک ایمبیڈڈ بصری ویب بلڈر، ڈیکلریٹیو XML پائپ لائنز، کراس-ڈیٹا بیس سپورٹ، اور بلٹ-ان آڈٹ ٹیلیمیٹری شامل ہیں۔

Kestra ایک اوپن سورس، ایونٹ ڈریون آرکیسٹریشن پلیٹ فارم ہے جو ڈیٹا، AI، اور انفراسٹرکچر ورک فلو کے لیے ڈیزائن کیا گیا ہے، جس میں ڈیکلیریٹو YAML انٹرفیس استعمال ہوتا ہے۔

CocoIndex ایک اوپن سورس انکریمنٹل انڈیکسنگ فریم ورک ہے جو AI ایجنٹس اور LLM ایپلی کیشنز کو مسلسل تازہ سیاق و سباق فراہم کرنے کے لیے ڈیزائن کیا گیا ہے، جو صرف تبدیل شدہ ڈیٹا کو دوبارہ پروسیس کرتا ہے۔

ویکٹر ایک اوپن سورس مشاہداتی ڈیٹا پائپ لائن ہے جو Rust میں لکھی گئی ہے۔ یہ لاگز اور میٹرکس کو جمع، تبدیل اور راؤٹ کرتی ہے، ٹیموں کو کنٹرول دیتی ہے کہ ٹیلی میٹری کہاں جائے اور ویانڈر لاگت کم ہو۔

ڈاٹ فلو ایک ہلکا پھلکا پائتھن لائبریری ہے جو @action ڈیکوریٹرز کے ذریعے ٹاسکس کی تعریف کرتی ہے۔ یہ ری ٹرائی، متوازی عملدرآمد، اور اوپن ٹیلی میٹری جیسی فیچرز کی حمایت کرتی ہے اور AWS Lambda، GCP Cloud Run، اور Kubernetes سمیت 34+ کلاؤڈ پلیٹ فارمز پر ون کلک ڈیپلائمنٹ کی اجازت دیتی ہے۔

Dagster ایک کلاؤڈ نیٹو ڈیٹا پائپ لائن آرکسٹریٹر ہے جسے ڈیٹا اثاثوں (data assets) کی پوری لائف سائیکل کے دوران ان کی ڈویلپمنٹ، پروڈکشن اور آبزرویشن کے لیے ڈیزائن کیا گیا ہے۔

Apache Airflow ایک ایسا پلیٹ فارم ہے جس کے ذریعے ورک فلو کو کوڈ کے طور پر پروگرامmatically تیار، شیڈول اور مانیٹر کیا جاتا ہے، جو عام طور پر ڈیٹا پائپ لائنز اور AI/ML آرکیسٹریشن کے لیے استعمال ہوتا ہے۔

Pathway Python کا ایک لائیو ڈیٹا فریم ورک ہے جو اسٹریمنگ اور بیچ ڈیٹا پروسیسنگ کو یکساں API کے ذریعے سنبھالتا ہے۔ یہ Rust انجن پر بنایا گیا ہے جو مختلف AI پائپ لائنز سمیت حقیقی وقت کے تجزیات کی سہولت دیتا ہے۔