इस प्रोजेक्ट के बारे में

Frugal LLM एक हल्का प्रॉक्सी सर्वर है जो Go में लिखा गया है और OpenAI‑संगत एकीकृत API इंटरफ़ेस प्रदान करता है। इसका मुख्य उद्देश्य API बजट और प्रतिक्रिया गुणवत्ता को अनुकूलित करना है, जिसमें आने वाले प्रॉम्प्ट्स को कार्य डोमेन के आधार पर स्वचालित रूप से विशेष मॉडल आर्किटेक्चर की ओर रूट किया जाता है (उदाहरण के लिए, साधारण चैट को हाई‑स्पीड इंजन और जटिल तर्क को फ़्लैगशिप मॉडल की ओर भेजना)। मुख्य क्षमताएँ शामिल हैं: - डायनामिक रूटिंग: टेम्पलेट‑ड्रिवेन LLM क्लासिफ़ायर इंजन का उपयोग करके वर्कलोड को आदर्श प्रोवाइडर और मॉडल से मिलाता है। - व्यापक प्रोवाइडर समर्थन: OpenAI, Google Gemini, Anthropic Claude, DeepSeek, Groq, Together AI, HuggingFace, तथा स्थानीय सर्वर जैसे Ollama, LM Studio, और vLLM के साथ एकीकृत करता है। - OpenAI स्पेसिफ़िकेशन संगतता: मानक OpenAI SDKs, LangChain, LlamaIndex, और Cursor तथा Cline जैसे कोडिंग असिस्टेंट्स के साथ कोड रीफ़ैक्टरिंग के बिना काम करता है। - तकनीकी विशेषताएँ: SSE स्ट्रीमिंग, एक्सपोनेंशियल बैकऑफ़ के साथ प्रोवाइडर रीट्राइज़, और संरचित सामग्री के लिए लचीला पेलोड अनमार्शलिंग समर्थन करता है। - कॉन्फ़िगरेशन: पर्यावरण वेरिएबल्स के माध्यम से शून्य‑एडिट सेटअप या YAML फ़ाइलों के द्वारा उन्नत कस्टमाइज़ेशन को सपोर्ट करता है।