عن المشروع

هذا المشروع هو نسخة مُفرّعة من خدمة ai-proxy، مصممة للعمل كوسيط آمن لمختلف مقدمي خدمات نماذج اللغات الكبيرة (LLM). يوفر نقطة نهاية API موحدة تتيح للمستخدمين التفاعل مع خدمات ذكاء اصطناعي متعددة دون الحاجة لتعديل رموز التطبيقات لكل مقدم خدمة. القدرة الرئيسية تشمل: - وصول API موحد: يدعم مقدمين مثل OpenAI وGoogle Gemini وGroq وOpenRouter وCloudflare وCohere وSberbank GigaChat. - إدارة الطلبات: يطبق تحديد المعدل (لكل دقيقة/ساعة/يوم)، والتوجيه الذكي، ومعالجة الأخطاء المهيكلة. - تحسينات الأداء: يستخدم تجميع النوافذ عبر sync.Pool لكفاءة الذاكرة، وتجميع اتصال مُحسّن لعملاء HTTP، وآلية إعادة محاولة البث بمعدل أسّي وزخم عشوائي. - الأمان: يتميز بمصادقة رمز وصول الوكيل وإدارة تكوين آمنة عبر متغيرات البيئة. - دعم البث: يدعم أحداث السيرفر المرسَلة (SSE) للمقدمين الذين يطبقون استجابات البث. - التكوين: يستخدم إعداداً قائماً على YAML لتعريف النماذج والأولويات ومفاتيح API.