প্রকল্প সম্পর্কে
LiteLLM একটি একক ইন্টারফেস প্রদানের মাধ্যমে OpenAI, Anthropic, Gemini, Bedrock, Azure এবং আরও অনেক প্রোভাইডারের সাথে ইন্টারঅ্যাক্ট করে একাধিক Large Language Models-এর ইন্টিগ্রেশন সহজ করে তোলে। এটি সরাসরি লাইব্রেরি ইন্টিগ্রেশনের জন্য একটি Python SDK হিসেবে ব্যবহৃত হতে পারে অথবা সাংগঠনিক ব্যবহারের জন্য একটি সেন্ট্রালাইজড AI Gateway (Proxy Server) হিসেবে ডেপ্লয় করা যেতে পারে।
এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে:
- Unified API: ১০০+ LLM-এর জন্য একটি একক ইন্টারফেস, যা প্রোভাইডার-নির্দিষ্ট SDK-এর প্রয়োজনীয়তা দূর করে।
- OpenAI Compatibility: অ্যাপ্লিকেশন কোড পুনরায় না লিখেও LLM প্রোভাইডার পরিবর্তন করার সুবিধা দেয়।
- Production Gateway Features: এতে ভার্চুয়াল কি (virtual keys), খরচ ট্র্যাকিং, গার্ডরেলস, লোড ব্যালেন্সিং এবং একটি অ্যাডমিন ড্যাশবোর্ডের সমর্থন অন্তর্ভুক্ত রয়েছে।
- A2A Agent Support: LangGraph, Vertex AI Agent Engine এবং Azure AI Foundry-এর মতো প্রোভাইডার থেকে এজেন্টদের কল করার ক্ষমতা।
- MCP Tools Integration: SDK বা Gateway-এর মাধ্যমে যেকোনো LLM-এর সাথে Model Context Protocol (MCP) সার্ভার সংযোগ করে।
- Broad Endpoint Support: /chat/completions, /embeddings, /images, /audio এবং /rerank সহ বিভিন্ন এন্ডপয়েন্ট সমর্থন করে।