عن المشروع
Hyperstrate Server هو بوابة ذكاء اصطناعي قابلة للاستضافة الذاتية مصممة خصيصًا للفرق التي تحتاج إلى تحكم دقيق في بنية الذكاء الاصطناعي التوليدي. يعمل كطبقة مركزية تربط التطبيقات بمختلف مزودي الذكاء الاصطناعي، ويدعم الخدمات المستضافة مثل OpenAI وAnthropic وGemini وMistral وAzure OpenAI وBedrock وGroq وCohere، بالإضافة إلى النماذج المستضافة ذاتيًا عبر Ollama وvLLM وLocalAI، ومزودي HTTP المخصصين.
من أبرز القدرات:
- التوجيه والتنسيق: يدعم استراتيجيات توجيه متعددة (التوزيع المتساوي، المرجح، التفادي، القائم على زمن الاستجابة)، مع ميزات خطوط الإنتاج مثل التخزين المؤقت الدلالي، وتقليص السياق، وإعادة المحاولة، وتكامل أدوات MCP.
- الحوكمة والأمان: يتضمن حدود الطلبات، وميزانيات التكلفة، وحدود معدل الاستخدام، والمفاتيح الافتراضية، وتعيينات مجموعات OIDC لإدارة الوصول متعدد المستأجرين.
- الرصد: يوفر سجلات تفصيلية للاستدلال، وتتبع خطوط الإنتاج، ومقاييس Prometheus، وتحليلات لمتابعة التكلفة وزمن الاستجابة واستهلاك الرموز.
- التقييم: يضم أدوات لإدارة قوالب المطالبة نسختها، وتشغيل مجموعات تقييم بدرجة تحكم الذكاء الاصطناعي التوليدي لاختبار انحرافات الموجه.
- تجربة المطورين: يقدم واجهات برمجية متوافقة مع SDKs (متوافقة مع OpenAI وAnthropic)، مما يتيح للواجهات القائمة التكامل بتغيير عنوان الأساس فقط.
من الناحية التقنية، بُني الخادم باستخدام Go 1.25 وGin، ويدعم SQLite للتطوير المحلي وPostgreSQL للإنتاج. يمكن نشره كتطبيق ثنائي مستقل أو عبر AWS SAM باستخدام Lambda وSQS لمعالجة المهام غير المتزامنة.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.