عن المشروع

llm-apipool هو أداة استضافة ذاتية تجمع الوصول إلى أكثر من 40 واجهة برمجة تطبيقات (API) لنماذج الذكاء الاصطناعي الكبيرة مجانية المستوى — بما في ذلك Groq وMistral وCerebras وGoogle Gemini وOpenRouter وHugging Face وGitHub وغيرها — خلف نقطة نهاية واحدة متوافقة مع OpenAI (مثل http://localhost:8000/v1). يلغي الحاجة إلى إدارة مفاتيح API متعددة أو وحدات SDK أو حدود معدل يدوياً. يدور النظام المفاتيح تلقائياً لكل مزود، ويطبق فترات هدوء عند تجاوز حدود المعدل، ويتحول إلى مزودي أو مستويات بديلة. يتضمن سطر أوامر للإعداد والإدارة، وواجهة مستخدم نصية تفاعلية مبنية على Textual لمراقبة المفاتيح وسجلات التدقيق في الوقت الفعلي، ولوحة تحكم مبنية بـReact تضم التحليلات والإعدادات. يدعم البث (SSE للمزودين المتوافقين)، وإعدادات موحدة لمستوى الجهد عبر النماذج (منخفض/متوسط/عالي للاستدلال)، وتتبع المشتركين، وتجميع الاتصالات، ونشر Docker مع فحوصات الصحة. يتكامل بسلاسة مع LangChain عبر AggregatorChat， ويعمل مع أي أداة متوافقة مع OpenAI (مثل Hermes Agent وCursor وContinue.dev) بمجرد تغيير عنوان الأساس. بُني للمطورين الأفراد والفرق الصغيرة الرامية لتجنب تكاليف واجهات البرمجة مع الحفاظ على موثوقية على مستوى الإنتاج. يشمل 522 اختباراً ناجحاً، وترقيات Alembic، ودلائل مزودين موثّقة. تتضمن خارطة الطريق دعم الإضافات، والبث عبر WebSocket، والمصادقة متعددة المستخدمين، والتوزيع العنقودي.