عن المشروع

باثواي هو إطار عمل للبيانات الحية مكتوب بلغة بايثون، يدعم معالجة البيانات الدفعية والتدفقية عبر واجهة برمجة تطبيقات واحدة. تم بناؤه على محرك مكتوب بلغة رست يستخدم تقنية Differential Dataflow للحسابات التزايدية، مما يسمح بتحديث خطوط الأنابيب في الوقت الفعلي فور وصول البيانات. يوفر الإطار موصلات لـ Kafka و PostgreSQL و Google Drive و SharePoint و Airbyte (أكثر من 300 مصدر)، بالإضافة إلى دعم إنشاء موصلات مخصصة عبر لغة بايثون. بالنسبة لخطوط أنابيب الذكاء الاصطناعي، يتضمن باثواي حزمة إضافية من نوع LLM xpack تحتوي على أغلفة لخدمات نماذج اللغة الكبيرة الرئيسية، وأدوات التضمين، وأدوات التقسيم، وأدوات التحليل، ومؤشر متجهي في الذاكرة يعمل في الوقت الفعلي. يتكامل مع منصتي LangChain و LlamaIndex لتطبيقات الاسترجاع المعزز بالتوليد (RAG). تتضمن التحويلات ذات الحالة عمليات الدمج، وتقسيم النوافذ، والفرز، مع دعم لأي دالة أو مكتبة بلغة بايثون. تتيح ميزة الاستمرارية إعادة تشغيل خطوط الأنابيب بعد تعطلها أو تحديثها. يصل ضمان الاتساق إلى مرة واحدة على الأقل في الإصدار المجاني، ومرة واحدة بالضبط في الطبقة المؤسسية. تتضمن خيارات النشر التنفيذ المحلي عبر `pw.run()`، ودوكر، وكيوبيرنيتس. تعرض لوحة المراقبة معدل نقل الرسائل وزمن الانتقال لكل موصل. يدعم المحرك تعدد الخيوط، وتعدد العمليات، والحوسبة الموزعة بشكل افتراضي دون الحاجة إلى إعدادات إضافية.