منصوبے کے بارے میں

Omni Gateway Local ایک ہلکا پھلکا API گیٹ وے ہے جو متعدد بڑے زبان ماڈل (LLM) فراہم کنندگان کے ساتھ تعامل کو آسان بنانے کے لیے ڈیزائن کیا گیا ہے۔ یہ /v1/chat/completions پر ایک واحد، معیاری OpenAI‑مطابق انٹرفیس پیش کرتا ہے، جس سے ڈویلپرز ایک ہی کلائنٹ کوڈ استعمال کر سکتے ہیں چاہے بنیادی ماڈل مقامی طور پر (مثلاً Ollama کے ذریعے) چل رہا ہو یا دور دراز (مثلاً OpenAI، Anthropic، Gemini)۔ گیٹ وے درخواست میں 'model' پیرامیٹر کی بنیاد پر ڈائنامک طور پر راؤٹ کرتا ہے۔ FastAPI اور LiteLLM پر بنایا گیا، یہ Server‑Sent Events (SSE) کے ذریعے سٹریمنگ کی حمایت کرتا ہے اور سیٹ اپ کم سے کم ہے: pip کے ذریعے انسٹال کریں، API کلیدوں کے لیے ماحول کے متغیرات سیٹ کریں، اور سرور شروع کریں۔ مختلف ماڈلز کے ساتھ تجربہ کرنے، مقامی AI ایپلیکیشنز بنانے، یا فراہم کنندہ‑مخصوص APIs پر تجرید کی تلاش کرنے والے ڈویلپرز کے لیے مثالی۔ MIT لائسنس شدہ۔