اوپن سورس۔ نئے امکانات۔

AWS پر مکمل طور پر سرورلیس کلک سٹریم ڈیٹا پیپ لائن جو API Gateway، Kinesis، Firehose، Lambda اور Athena کا استعمال کرتے ہوئے کلک ایونٹس کو پروسیس کر کے Parquet فارمیٹ میں ذخیرہ کرتی ہے۔

Flow ایک واحد-بائنری، اعلیٰ کارکردگی کا ETL انجن اور ورکفلو آرکیسٹریٹر ہے جو Go میں لکھا گیا ہے۔ اس میں ایک ایمبیڈڈ بصری ویب بلڈر، ڈیکلریٹیو XML پائپ لائنز، کراس-ڈیٹا بیس سپورٹ، اور بلٹ-ان آڈٹ ٹیلیمیٹری شامل ہیں۔

CocoIndex ایک اوپن سورس انکریمنٹل انڈیکسنگ فریم ورک ہے جو AI ایجنٹس اور LLM ایپلی کیشنز کو مسلسل تازہ سیاق و سباق فراہم کرنے کے لیے ڈیزائن کیا گیا ہے، جو صرف تبدیل شدہ ڈیٹا کو دوبارہ پروسیس کرتا ہے۔

ویکٹر ایک اوپن سورس مشاہداتی ڈیٹا پائپ لائن ہے جو Rust میں لکھی گئی ہے۔ یہ لاگز اور میٹرکس کو جمع، تبدیل اور راؤٹ کرتی ہے، ٹیموں کو کنٹرول دیتی ہے کہ ٹیلی میٹری کہاں جائے اور ویانڈر لاگت کم ہو۔

Apache Airflow ایک ایسا پلیٹ فارم ہے جس کے ذریعے ورک فلو کو کوڈ کے طور پر پروگرامmatically تیار، شیڈول اور مانیٹر کیا جاتا ہے، جو عام طور پر ڈیٹا پائپ لائنز اور AI/ML آرکیسٹریشن کے لیے استعمال ہوتا ہے۔

Pathway Python کا ایک لائیو ڈیٹا فریم ورک ہے جو اسٹریمنگ اور بیچ ڈیٹا پروسیسنگ کو یکساں API کے ذریعے سنبھالتا ہے۔ یہ Rust انجن پر بنایا گیا ہے جو مختلف AI پائپ لائنز سمیت حقیقی وقت کے تجزیات کی سہولت دیتا ہے۔