منصوبے کے بارے میں

مینی فیسٹ LLM گیٹ وے ایک اوپن سورس LLM گیٹ وے ہے جو AI ایجنٹس اور ایپلیکیشنز کے لیے ڈیزائن کیا گیا ہے۔ یہ API کیز، سبسکرپشنز اور مقامی ماڈلز کو ایک واحد OpenAI کے موافق اینڈ پوائنٹ میں یکجا کرتا ہے، جس سے ہر استفسار کو فراہم کنندہ لاک اِن کے بغیر مناسب ماڈل کی طرف روٹ کیا جا سکتا ہے۔ اہم صلاحیتوں میں API کیز، سبسکرپشنز، مقامی ماڈلز اور حسب ضرورت فراہم کنندگان کے درمیان حسب ضرورت روٹنگ؛ کامیابی اور غلطی کے پیغامات کے لیے مکمل باڈی لاگنگ؛ اطلاعات اور حدود کے ساتھ لاگت کی ٹریکنگ؛ اور استفسارات ناکام ہونے پر مختلف ماڈلز پر خودکار فال بیک، بشمول خراب درخواستوں کے لیے خود شفا یابی شامل ہیں۔ یہ پروجیکٹ 35 بلٹ اِن فراہم کنندہ کنکشنز کے ذریعے 300 سے زائد ماڈلز کی حمایت کرتا ہے، نیز کسی بھی حسب ضرورت OpenAI یا Anthropic کے موافق اینڈ پوائنٹ کی۔ صارفین اپنی API کیز لا سکتے ہیں، 18 سبسکرپشن فلو میں سے ایک دوبارہ استعمال کر سکتے ہیں، یا ماڈلز مقامی طور پر چلا سکتے ہیں۔ فراہم کنندگان میں OpenAI، Anthropic، Google، AWS Bedrock، DeepSeek، Mistral، Ollama، LM Studio، llama.cpp، OpenRouter، Hugging Face اور بہت سے دیگر شامل ہیں۔ "model": "auto" بھیجنے سے مینی فیسٹ ماڈل منتخب کرتا ہے۔ تعیناتی کے اختیارات میں app.manifest.build پر کلاؤڈ ورژن، خود میزبان Docker امیج، اور Railway، Render، DigitalOcean، AWS، GCP، Fly.io، Coolify، Easypanel، Heroku، Koyeb اور Apple Containers کے لیے ایک کلک تعیناتی ٹیمپلیٹس شامل ہیں۔ یہ پروجیکٹ MIT لائسنس یافتہ ہے اور دستاویزات، ایک n8n کمیونٹی نوڈ اور ایک Discord کمیونٹی فراہم کرتا ہے۔