عن المشروع
بوابة OBEY API Gateway هي بوابة ذكاء اصطناعي عالية الأداء بملف تنفيذي واحد صُممت لتتوسط بين التطبيقات وموفري الذكاء الاصطناعي المتعددين. تعمل كبديل جاهز للاستخدام لواجهة برمجة تطبيقات OpenAI، مما يسمح للمستخدمين بتوجيه وحدات SDK الحالية لديهم نحو البوابة للحصول على ميزات توجيه وموثوقية متقدمة دون تغيير كود التطبيق.
تشمل القدرات الرئيسية:
- **دعم متعدد الموفرين**: متوافق مع OpenAI وOllama وAWS Bedrock وGroq وTogether AI وNVIDIA NIM وvLLM وLM Studio.
- **الموثوقية والتوجيه**: يتضمن تجاوزًا تلقائيًا للأعطال بفواصل الدوائر، واسترجاع أسي، ومعالجة ذكية للحد من المعدلات (مع احترام رؤوس Retry-After). ويدعم التوجيه القائم على الأولوية والمراعي للتكلفة والتعقيد.
- **ميزات الذكاء الاصطناعي المتقدمة**:
- **تخزين الاستجابات المؤقتة**: تخزين ذو مستويين يشمل ذاكرة التخزين المؤقت الدقيق في الذاكرة وطابقًا دلاليًا اختياريًا عبر Qdrant.
- **إدارة الرموز**: يتضمن تسع استراتيجيات لضغط الرموز ومست Pipeline مكون من 12 مرحلة لضغط تعريفات الأدوات.
- **الدروع الواقية**: فرض سياسات قبل وبعد المكالمات بما في ذلك إزالة المعلومات الشخصية الحساسة، وفحص التعبيرات النمطية، والرقابة.
- **كشف حلقات الوكلاء**: يكتشف سلوك الوكلاء المتكرر ويتصاعد عبر مستويات التحذير وتقليل المعدل.
- **تكامل OpenAI**: يدعم تسجيل الدخول عبر OAuth من OpenAI لاشتراكات ChatGPT Plus/Pro ويوفر نقطة نهاية /v1/responses أصلية.
- **أدوات المطورين**: يتضمن لوحة إدارة مضمنة، ومقاييس Prometheus، وتسجيل هيكلي قائم على SQLite، وإدارة المفاتيح الافتراضية للميزانيات والحد من المعدلات لكل متصل.
- **النشر**: متاح كبرنامج تثبيت لـ Windows أو صورة Docker، أو يمكن بناؤه من الشفرة المصدرية باستخدام Rust.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.