litellm — LiteLLM هو بوابة ذكاء اصطناعي مفتوحة المصدر وSDK بلغة Python يوفر واجهة موحدة متوافقة مع OpenAI لاستدعاء أكثر من 100 مزود مختلف لنماذج اللغة الكبيرة (LLM).

LiteLLM هو بوابة ذكاء اصطناعي مفتوحة المصدر وSDK بلغة Python يوفر واجهة موحدة متوافقة مع OpenAI لاستدعاء أكثر من 100 مزود مختلف لنماذج اللغة الكبيرة (LLM).

عن المشروع

يعمل LiteLLM على تبسيط دمج نماذج اللغة الكبيرة المتعددة من خلال توفير واجهة واحدة للتفاعل مع مزودين مثل OpenAI وAnthropic وGemini وBedrock وAzure والعديد من المزودين الآخرين. يمكن استخدامه كـ Python SDK للدمج المباشر في المكتبات أو نشره كبوابة ذكاء اصطناعي مركزية (Proxy Server) للاستخدام المؤسسي. تشمل القدرات الرئيسية ما يلي: - واجهة برمجة تطبيقات موحدة (Unified API): واجهة واحدة لأكثر من 100 نموذج LLM، مما يلغي الحاجة إلى SDKs خاصة بكل مزود. - التوافق مع OpenAI: يسمح بتبديل مزودي LLM دون الحاجة إلى إعادة كتابة كود التطبيق. - ميزات بوابة الإنتاج: تتضمن دعم المفاتيح الافتراضية، وتتبع الإنفاق، والضوابط الوقائية (guardrails)، وموازنة الحمل، ولوحة تحكم للمسؤول. - دعم وكلاء A2A: القدرة على استدعاء الوكلاء من مزودين مثل LangGraph وVertex AI Agent Engine وAzure AI Foundry. - تكامل أدوات MCP: يربط خوادم Model Context Protocol (MCP) بأي نموذج LLM عبر الـ SDK أو البوابة. - دعم واسع لنقاط النهاية: يدعم نقاط نهاية متنوعة بما في ذلك /chat/completions و/embeddings و/images و/audio و/rerank.