منصوبے کے بارے میں
LiteLLM متعدد Large Language Models کی انٹیگریشن کو آسان بناتا ہے، جس کے ذریعے OpenAI، Anthropic، Gemini، Bedrock، Azure اور بہت سے دیگر فراہم کنندگان کے ساتھ بات چیت کے لیے ایک واحد انٹرفیس فراہم کیا جاتا ہے۔ اسے براہ راست لائبریری انٹیگریشن کے لیے Python SDK کے طور پر استعمال کیا جا سکتا ہے یا تنظیمی استعمال کے لیے ایک مرکزی AI Gateway (Proxy Server) کے طور پر تعینات کیا جا سکتا ہے۔
اہم صلاحیتوں میں شامل ہیں:
- Unified API: 100 سے زائد LLMs کے لیے ایک واحد انٹرفیس، جس سے فراہم کنندہ کے مخصوص SDKs کی ضرورت ختم ہو جاتی ہے۔
- OpenAI Compatibility: ایپلی کیشن کوڈ کو دوبارہ لکھے بغیر LLM فراہم کنندگان کو تبدیل کرنے کی اجازت دیتا ہے۔
- Production Gateway Features: اس میں ورچوئل کیز، اخراجات کی ٹریکنگ، guardrails، لوڈ بیلنسنگ، اور ایک ایڈمن ڈیش بورڈ کی سپورٹ شامل ہے۔
- A2A Agent Support: LangGraph، Vertex AI Agent Engine، اور Azure AI Foundry جیسے فراہم کنندگان سے ایجنٹس کو کال کرنے کی صلاحیت۔
- MCP Tools Integration: SDK یا Gateway کے ذریعے Model Context Protocol (MCP) سرورز کو کسی بھی LLM سے جوڑتا ہے۔
- Broad Endpoint Support: مختلف اینڈ پوائنٹس بشمول /chat/completions، /embeddings، /images، /audio، اور /rerank کی سپورٹ کرتا ہے۔