इस प्रोजेक्ट के बारे में
FreeLLMAPI 34 LLM प्रदाताओं और 600 से अधिक मॉडल एंडपॉइंट्स के फ्री टियर्स तक पहुँचने के लिए एक एकीकृत /v1 एंडपॉइंट प्रदान करता है। यह उपयोगकर्ताओं को रेट लिमिट और प्रदाता विफलताओं को स्वचालित रूप से प्रबंधित करते हुए, कुल उपलब्ध इन्फरेंस क्षमता बढ़ाने के लिए कई फ्री कोटा को स्टैक करने की अनुमति देता है।
मुख्य क्षमताओं में शामिल हैं:
- एकीकृत API: चैट, कम्पलीशन्स, एम्बेडिंग्स, इमेज, वीडियो और स्पीच के लिए OpenAI-संगत सरफेस के साथ-साथ Anthropic Messages और Gemini नेटिव सरफेस का समर्थन करता है।
- स्मार्ट रूटिंग: इसमें छह रूटिंग रणनीतियाँ हैं जिनमें ऑटोमैटिक फेलओवर और की-रोटेशन की सुविधा है, जब प्रदाता रेट-लिमिटेड होते हैं या त्रुटियाँ लौटाते हैं।
- मॉडल प्रबंधन: इसमें एक सेल्फ-अपडेटिंग मॉडल कैटलॉग और एन्क्रिप्टेड API कीज़ के प्रबंधन और उपयोग एनालिटिक्स को ट्रैक करने के लिए React-आधारित एडमिन डैशबोर्ड शामिल है।
- उन्नत सुविधाएँ: 'Fusion' (मल्टी-मॉडल सिंथेसिस), प्रॉम्प्ट कम्प्रेशन, कॉन्टेक्स्ट हैंडऑफ के लिए स्टिकी सेशन्स और एजेंट इंट्रोस्पेक्शन के लिए एक MCP सर्वर प्रदान करता है।
- परिनियोजन: यह Docker कंटेनर, macOS और Windows के लिए एक नेटिव डेस्कटॉप ऐप के रूप में उपलब्ध है, और ARM SBCs सहित Node 20+ वातावरण पर चलता है।
- एकीकरण: यह Claude Code, Aider, Cline और Cursor जैसे विभिन्न कोडिंग एजेंटों और CLIs के लिए स्वचालित सेटअप टूल प्रदान करता है।