منصوبے کے بارے میں

Frugal LLM ایک ہلکا پھلکا پراکسی سرور ہے جو Go میں لکھا گیا ہے اور OpenAI-مطابق متحدہ API انٹرفیس فراہم کرتا ہے۔ اس کا بنیادی مقصد API بجٹ اور ردعمل کے معیار کو بہتر بنانا ہے، جس کے لیے آنے والے پرامپٹس کو ٹاسک ڈومین کی بنیاد پر مخصوص ماڈل آرکیٹیکچرز کی طرف خودکار طور پر بھیج دیا جاتا ہے (مثلاً، غیر رسمی چیٹ کو ہائی اسپیڈ انجنز اور پیچیدہ استدلال کو فلیگ شپ ماڈلز کی طرف بھیجنا)۔ اہم قابلیتیں شامل ہیں: - ڈائنامک راؤٹنگ: ایک ٹیمپلیٹ-ڈرائیون LLM کلاسفائر انجن استعمال کرتا ہے تاکہ ورک لوڈز کو مثالی پرووائیڈر اور ماڈل سے میچ کیا جا سکے۔ - وسیع پرووائیڈر سپورٹ: OpenAI، Google Gemini، Anthropic Claude، DeepSeek، Groq، Together AI، HuggingFace، اور مقامی سرورز جیسے Ollama، LM Studio، اور vLLM کے ساتھ انٹیگریٹ کرتا ہے۔ - OpenAI اسپیسیفیکیشن کمپٹیبیلٹی: معیاری OpenAI SDKs، LangChain، LlamaIndex، اور کوڈنگ اسسٹنٹس جیسے Cursor اور Cline کے ساتھ بغیر کوڈ ریفیکٹرنگ کے کام کرتا ہے۔ - تکنیکی خصوصیات: SSE سٹریمنگ کی حمایت کرتا ہے، پرووائیڈر ریٹریز کے لیے ایکسپونینشل بیک آف، اور اسٹرکچرڈ مواد کے لیے لچکدار پیلوڈ انمارشلنگ فراہم کرتا ہے۔ - کنفیگریشن: ماحول کے متغیرات کے ذریعے زیرو-ایڈیٹ سیٹ اپ کی حمایت کرتا ہے یا YAML فائلوں کے ذریعے ایڈوانسڈ کسٹمائزیشن کی اجازت دیتا ہے۔