প্রকল্প সম্পর্কে

Frugal LLM হল Go-তে লেখা একটি হালকা ওজনের প্রক্সি সার্ভার, যা OpenAI-সামঞ্জস্যপূর্ণ একীভূত API ইন্টারফেস প্রদান করে। এর প্রধান উদ্দেশ্য হল API বাজেট এবং প্রতিক্রিয়া গুণমানকে অপ্টিমাইজ করা, স্বয়ংক্রিয়ভাবে ইনকামিং প্রম্পটগুলোকে কাজের ডোমেইনের ভিত্তিতে বিশেষায়িত মডেল আর্কিটেকচারে রাউট করা (যেমন, ক্যাজুয়াল চ্যাটকে উচ্চ-গতির ইঞ্জিনে এবং জটিল যুক্তিকে ফ্ল্যাগশিপ মডেলে রাউট করা)। Key capabilities include: - Dynamic Routing: টেমপ্লেট-চালিত LLM ক্লাসিফায়ার ইঞ্জিন ব্যবহার করে ওয়ার্কলোডকে আদর্শ প্রদানকারী ও মডেলের সঙ্গে মেলানো। - Broad Provider Support: OpenAI, Google Gemini, Anthropic Claude, DeepSeek, Groq, Together AI, HuggingFace, এবং লোকাল সার্ভার যেমন Ollama, LM Studio, এবং vLLM-এ ইন্টিগ্রেট করে। - OpenAI Specification Compatibility: স্ট্যান্ডার্ড OpenAI SDK, LangChain, LlamaIndex, এবং Cursor ও Cline এর মতো কোডিং অ্যাসিস্ট্যান্টের সঙ্গে কোড রিফ্যাক্টরিং ছাড়াই কাজ করে। - Technical Features: SSE স্ট্রিমিং, এক্সপোনেনশিয়াল ব্যাকঅফ সহ প্রদানকারী রিট্রাই, এবং স্ট্রাকচার্ড কন্টেন্টের জন্য নমনীয় পে-লোড আনমারশালিং সমর্থন করে। - Configuration: পরিবেশ ভেরিয়েবল দিয়ে শূন্য-সম্পাদনা সেটআপ অথবা YAML ফাইলের মাধ্যমে উন্নত কাস্টমাইজেশন সমর্থন করে।