इस प्रोजेक्ट के बारे में

llm-budget-proxy एक विशेष रिवर्स प्रॉक्सी है जिसे OpenAI API उपयोग के प्रबंधन के लिए डिज़ाइन किया गया है। यह प्रति-की टोकन बजट (दैनिक या मासिक) और रेट लिमिटिंग (RPM/TPM) के माध्यम से API खपत पर विस्तृत नियंत्रण प्रदान करता है। इसकी मुख्य क्षमताओं में खर्चों की निगरानी के लिए एक बिल्ट-इन लागत डैशबोर्ड, लागत कम करने के लिए exact-match रिस्पॉन्स कैशिंग, और एक मॉडल डाउनग्रेड फीचर शामिल है जो बजट सीमा समाप्त होने पर स्वचालित रूप से सस्ते मॉडल पर स्विच कर देता है। यह सिस्टम TypeScript के साथ बनाया गया है और डेटा पर्सिस्टेंस के लिए SQLite का उपयोग करता है, जिससे इसे एक सिंगल Docker कंटेनर के रूप में तैनात करना आसान हो जाता है। यह बजट अलर्ट के लिए webhooks का भी समर्थन करता है और रिस्पॉन्स में विस्तृत कस्टम हेडर प्रदान करता है, जैसे कि अनुरोध की लागत और शेष बजट। हालांकि यह OpenAI पर केंद्रित है, लेकिन यह डेवलपमेंट और स्टेजिंग वातावरण के लिए अधिक जटिल LLM गेटवे के एक हल्के विकल्प के रूप में कार्य करता है।