عن المشروع

إن llm-budget-proxy هو وكيل عكسي متخصص مصمم لإدارة استخدام OpenAI API. فهو يوفر تحكماً دقيقاً في استهلاك واجهة برمجة التطبيقات من خلال ميزانيات رموز لكل مفتاح (يومية أو شهرية) وتحديد معدل الاستخدام (RPM/TPM). وتشمل القدرات الرئيسية لوحة تحكم مدمجة للتكاليف لمراقبة النفقات، وتخزين مؤقت للاستجابات ذات المطابقة التامة لتقليل التكاليف، وميزة تخفيض النموذج التي تنتقل تلقائياً إلى نماذج أرخص عند الوصول إلى حدود الميزانية. تم بناء النظام باستخدام TypeScript ويستخدم SQLite لاستمرارية البيانات، مما يجعل من السهل نشره كحاوية Docker واحدة. كما يدعم webhooks لتنبيهات الميزانية ويوفر رؤوساً مخصصة مفصلة في الاستجابات، مثل تكلفة الطلب والميزانية المتبقية. وبينما يركز على OpenAI، فإنه يعمل كبديل خفيف لبوابات LLM الأكثر تعقيداً لبيئات التطوير والاختبار.