इस प्रोजेक्ट के बारे में
LiteLLM OpenAI, Anthropic, Gemini, Bedrock, Azure और कई अन्य प्रदाताओं के साथ इंटरैक्ट करने के लिए एक एकल इंटरफ़ेस प्रदान करके कई Large Language Models के एकीकरण को सरल बनाता है। इसका उपयोग सीधे लाइब्रेरी एकीकरण के लिए Python SDK के रूप में किया जा सकता है या संगठनात्मक उपयोग के लिए एक केंद्रीकृत AI Gateway (Proxy Server) के रूप में तैनात किया जा सकता है।
मुख्य क्षमताओं में शामिल हैं:
- Unified API: 100+ LLMs के लिए एक एकल इंटरफ़ेस, जो प्रदाता-विशिष्ट SDKs की आवश्यकता को समाप्त करता है।
- OpenAI Compatibility: एप्लिकेशन कोड को फिर से लिखे बिना LLM प्रदाताओं को बदलने की अनुमति देता है।
- Production Gateway Features: इसमें वर्चुअल कीज़, खर्च ट्रैकिंग, गार्डरेल्स, लोड बैलेंसिंग और एक एडमिन डैशबोर्ड का समर्थन शामिल है।
- A2A Agent Support: LangGraph, Vertex AI Agent Engine और Azure AI Foundry जैसे प्रदाताओं से एजेंटों को कॉल करने की क्षमता।
- MCP Tools Integration: SDK या Gateway के माध्यम से Model Context Protocol (MCP) सर्वरों को किसी भी LLM से जोड़ता है।
- Broad Endpoint Support: /chat/completions, /embeddings, /images, /audio और /rerank सहित विभिन्न एंडपॉइंट्स का समर्थन करता है।