इस प्रोजेक्ट के बारे में

मैनिफेस्ट LLM गेटवे AI एजेंटों और अनुप्रयोगों के लिए डिज़ाइन किया गया एक ओपन-सोर्स LLM गेटवे है। यह API कुंजियों, सब्सक्रिप्शन और स्थानीय मॉडलों को एक ही OpenAI-संगत एंडपॉइंट में समेकित करता है, जिससे प्रत्येक क्वेरी को प्रदाता लॉक-इन के बिना उपयुक्त मॉडल पर रूट किया जा सकता है। मुख्य क्षमताओं में API कुंजियों, सब्सक्रिप्शन, स्थानीय मॉडलों और कस्टम प्रदाताओं में कस्टम रूटिंग; सफलता और त्रुटि संदेशों के लिए पूर्ण बॉडी लॉगिंग; सूचनाओं और सीमाओं के साथ लागत ट्रैकिंग; और क्वेरी विफल होने पर विभिन्न मॉडलों पर स्वचालित फॉलबैक शामिल है, जिसमें खराब अनुरोधों के लिए स्व-उपचार भी शामिल है। यह परियोजना 35 अंतर्निहित प्रदाता कनेक्शनों के माध्यम से 300+ मॉडलों का समर्थन करती है, साथ ही किसी भी कस्टम OpenAI या Anthropic-संगत एंडपॉइंट का भी। उपयोगकर्ता अपनी स्वयं की API कुंजियाँ ला सकते हैं, 18 सब्सक्रिप्शन फ्लो में से किसी एक का पुन: उपयोग कर सकते हैं, या मॉडलों को स्थानीय रूप से चला सकते हैं। प्रदाताओं में OpenAI, Anthropic, Google, AWS Bedrock, DeepSeek, Mistral, Ollama, LM Studio, llama.cpp, OpenRouter, Hugging Face और कई अन्य शामिल हैं। "model": "auto" भेजने पर मैनिफेस्ट मॉडल का चयन स्वयं कर लेता है। परिनियोजन विकल्पों में app.manifest.build पर क्लाउड संस्करण, एक स्व-होस्टेड Docker इमेज, और Railway, Render, DigitalOcean, AWS, GCP, Fly.io, Coolify, Easypanel, Heroku, Koyeb और Apple Containers के लिए वन-क्लिक परिनियोजन टेम्पलेट शामिल हैं। यह परियोजना MIT लाइसेंस प्राप्त है और दस्तावेज़ीकरण, एक n8n समुदाय नोड और एक Discord समुदाय प्रदान करती है।