عن المشروع

llm-router هو وكيل عكسي خفيف الوزن، ثنائي التنفيذ المفرد، صُمّم لتحسين التكاليف عند استخدام واجهات برمجة تطبيقات النماذج اللغوية الكبيرة مثل Claude. يعمل كطبقة وسيطة بين تطبيقك وموفري خدمات الذكاء الاصطناعي، حيث يوزّع كل طلب ذكيًا على النموذج الأرخص الذي يستطيع معالجته — مثل Haiku للاستفسارات البسيطة، Sonnet للمهام المتوسطة، أو Opus للمهام المعقدة التي تتطلب استدلالًا متقدمًا. يتضمن النظام ذاكرة تخزين مؤقتة دلالًية (باستخدام تشابه جارد بدون embeddings خارجية)، وإزالة ازدواجية الطلبات المتشابهة والمتزامنة، بالإضافة إلى تنفيذ سير عمل الوكلاء متعدد الخطوات المعرفة كمخططات DAG مع تتبع التبعيات والتنفيذ المتوازي. يتتبع حالة وأحمال النماذج الخلفية في الوقت الفعلي ويتجنب تلقائيًا النماذج التي تعاني من تدهور الأداء أو الإثقال الزائد. يدعم التوجيه بمساعدة تعلم الآلة مع معايرة التغذية الراجعة، ويوفر تقارير تفصيلية عن التكاليف والتوفير. يمكن تكوينه عبر ملفات YAML، ويدعم Anthropic وOllama وvLLM وأي واجهة متوافقة مع OpenAI. بُني استنادًا إلى تقنيات مستمدة من 7 أبحاث أكاديمية وأنظمة مفتوحة المصدر، ولا يتطلب أي تبعيات خارجية، ويحتوي على 57 اختبار وحدة. يُعد خيارًا مثاليًا لتقليل نفقات واجهات البرمجة مع الحفاظ على الأداء والمرونة في بيئات الإنتاج.