عن المشروع

يُظهر هذا المشروع كيفية بناء بوابة LLM باستخدام LiteLLM وLangChain، لتمكين الوصول الموحّد إلى العديد من مزودي الذكاء الاصطناعي (مثل OpenAI وGroq) عبر واجهة API متوافقة مع OpenAI. يتضمن ذلك التوجيه الذكي للنماذج، والتبديل التلقائي عند الفشل، وتوازن الحمل، وتتبع التكاليف، والتخزين المؤقت، والرصد، بالإضافة إلى دروع حماية على جانب الإدخال مثل إخفاء بيانات PII ومنع حقن الأوامر. يُقدَّم التنفيذ كدفتر Jupyter قابل للتشغيل يوضح كل مفهوم خطوة بخطوة، بدءاً من استدعاءات API الموحّدة الأساسية وصولاً إلى إعداد خادم وسيط جاهز للإنتاج باستخدام ملف config.yaml. يتكامل بسلاسة مع سلاسل LangChain ويدعم النشر خلف بنية تحتية قابلة للتوسع تلقائياً. تشمل أفضل الممارسات التخزين المؤقت بـ Redis، وحدود المعدل لكل مستخدم، وتسجيل البيانات في قواعد رصد، وإدارة الإعدادات بإصدار مُتحكَّم فيه. تختصر البوابة تبعيات SDK الخاصة بكل مزوّد، مما يمكّن الفرق من التبديل بين النماذج أو المزوّدين دون تغيير الكود، مع توحيد ضوابط التكلفة والزمن الأمني والأداء.