عن المشروع

Frugal LLM هو خادم بروكسي خفيف مكتوب بلغة Go يوفر واجهة برمجة تطبيقات موحدة متوافقة مع OpenAI. الغرض الرئيسي منه هو تحسين ميزانية واجهة برمجة التطبيقات وجودة الاستجابة من خلال توجيه المطالبات الواردة تلقائيًا إلى هياكل نماذج متخصصة بناءً على مجال المهمة (على سبيل المثال، توجيه الدردشة العابرة إلى محركات عالية السرعة والاستدلال المعقد إلى النماذج الرئيسية). القدرات الرئيسية تشمل: - التوجيه الديناميكي: يستخدم محرك مصنف LLM مدعوم بالقوالب لمطابقة أحمال العمل مع مقدم الخدمة والنموذج المثالي. - دعم واسع لمقدمي الخدمة: يتكامل مع OpenAI وGoogle Gemini وAnthropic Claude وDeepSeek وGroq وTogether AI وHuggingFace، وخوادم محلية مثل Ollama وLM Studio وvLLM. - التوافق مع مواصفات OpenAI: يعمل مع مكتبات OpenAI القياسية مثل LangChain وLlamaIndex، ومساعدي البرمجة مثل Cursor وCline دون الحاجة إلى إعادة هيكلة الكود. - الميزات التقنية: يدعم بث SSE، وإعادة المحاولات مع زيادة زمن الانتظار الأسي، وفك تحميل الحمولة المرنة للمحتوى المنظم. - التهيئة: يدعم الإعداد دون تعديل عبر متغيرات البيئة أو التخصيص المتقدم من خلال ملفات YAML.