منصوبے کے بارے میں

Pathway (پیٿ وے) Python کے لیے ایک لائیو ڈیٹا فریم ورک ہے جو یکساں API کے ذریعے اسٹریمنگ اور بیچ ڈیٹا پروسیسنگ دونوں کو سنبھالتا ہے۔ یہ ڈیفرینشل ڈیٹافلو (Differential Dataflow) پر مبنی Rust انجن پر تعمیر کیا گیا ہے، جس سے ڈیٹا آنے کے دوران پائپ لائنز کو ریئل ٹائم میں اپ ڈیٹ کیا جا سکتا ہے۔ فریم ورک میں Kafka، PostgreSQL، Google Drive، SharePoint، اور Airbyte (300+ ذرائع) کے لیے کنیکٹرز موجود ہیں، ساتھ ہی Python کے ذریعے کسٹم کنیکٹر سپورٹ بھی فراہم کرتا ہے۔ AI پائپ لائنز کے لیے Pathway میں LLM xpack شامل ہے جس میں بڑے LLM سروسز کے واپر، ایمبرڈر، سپلٹر، پارسر، اور ایک ان میموری ریئل ٹائم ویکٹر انڈیکس موجود ہیں۔ یہ RAG ایپلیکیشنز کے لیے LangChain اور LlamaIndex کے ساتھ انٹیگریٹ ہوتا ہے۔ اسٹیٹ فل ٹرانسفارمیشنز میں joins، ونڈونگ، اور sortنگ شامل ہیں، جن میں کسی بھی Python فنکشن یا لائبریری کی حمایت حاصل ہے۔ Persistans (ذخیرہ کاری) کی بدولت پائپ لائنز کریش یا اپ ڈیٹ کے بعد دوبارہ شروع ہو سکتی ہیں۔ freemium ورژن میں consistency 'at-least-once' ہے جبکہ enterprise tier میں 'exactly-once' میسر ہے۔ Deployment کے اختیارات میں `pw.run()` کے ذریعے لوکل ایکسیکیوشن، Docker، اور Kubernetes شامل ہیں۔ ایک مانیٹرنگ ڈیش بورڈ ہر کنیکٹر کے لیے message throughput اور latency دکھاتا ہے۔ انجن multithreading، multiprocessing، اور distributed computation کو آؤٹ آف دہ خانہ سپورٹ کرتا ہے۔