इस प्रोजेक्ट के बारे में

LLM Router एक लचीला और कुशल API गेटवे है जिसे कई Large Language Model (LLM) प्रदाताओं और API keys के बीच अनुरोधों को वितरित करने के लिए डिज़ाइन किया गया है। Go में लिखा गया यह टूल, OpenAI chat completions एंडपॉइंट के लिए एक ड्रॉप-इन रिप्लेसमेंट के रूप में कार्य करता है। इसकी मुख्य क्षमताओं में उपयोग के आधार पर इंटेलिजेंट लोड बैलेंसिंग, लागत अनुकूलन के लिए वेटेड मॉडल चयन, और लॉजिकल मॉडल समूहों को परिभाषित करने की क्षमता शामिल है जो OpenAI और OpenRouter जैसे कई अंतर्निहित प्रदाताओं से मैप होते हैं। यह Server-Sent Events (SSE) के माध्यम से पूर्ण स्ट्रीमिंग, रिस्पॉन्स कम्प्रेशन और विस्तृत प्रदर्शन निगरानी का समर्थन करता है, जिसमें Time to First Token (TTFT) और टोकन प्रति सेकंड जैसे मेट्रिक्स को ट्रैक किया जाता है। यह राउटर रिडंडेंसी और रेट-लिमिट शमन के लिए API key प्रबंधन को भी संभालता है, जो एक सुरक्षित ऑथेंटिकेशन लेयर और OpenAI के Responses API के साथ अनुकूलता प्रदान करता है।