इस प्रोजेक्ट के बारे में

स्विचबोर्ड एक लोकल-फर्स्ट AI गेटवे है जो पूरी तरह से आपके मशीन पर चलता है, जो 16 अलग-अलग AI प्रोवाइडर्स के बीच रिक्वेस्ट्स को राउट करने के लिए एक OpenAI-कम्पैटीबल एंडपॉइंट प्रदान करता है, जिसमें Groq, Cerebras, Google, OpenRouter, DeepSeek, Mistral, OpenAI, और Anthropic शामिल हैं। यह रियल-टाइम फैक्टर्स जैसे हेल्थ, लेटेंसी, कॉस्ट, और टियर के आधार पर प्रत्येक रिक्वेस्ट के लिए ऑप्टिमल प्रोवाइडर का इंटेलिजेंट चयन करता है — फ्री टियर्स को प्राथमिकता देता है और यदि कोई प्रोवाइडर विफल हो जाए तो स्वचालित रूप से फॉलबैक करता है। हर राउटिंग निर्णय को विस्तार से स्टोर और समझाया जाता है, दिखाता है कि प्रत्येक कैंडिडेट को क्यों चुना गया या छोड़ा गया, जिसमें कॉस्ट ब्रेकडाउन और विफलता के कारण शामिल हैं। इस सिस्टम को किसी क्लाउड अकाउंट या टीलेमेट्री की आवश्यकता नहीं है; क्रेडेंशियल्स को स्थानीय रूप से AES-256-GCM का उपयोग करके एन्क्रिप्ट किया जाता है और ऊपरी API कॉल्स को छोड़कर कभी भी आपके डिवाइस से बाहर नहीं जाते हैं। यह स्ट्रीमिंग और नॉन-स्ट्रीमिंग चैट कंप्लीशंस, एम्बेडिंग्स, इमेज जनरेशन, ऑडियो स्पීच और ट्रांसक्रिप्शन, रीडरकिंग, और मोडरेशन एंडपॉइंट्स को सपोर्ट करता है। सभी रिस्पांसेस में प्रदाता, मॉडल, टियर, कॉस्ट, लेटेंसी, और फॉलबैक रिजन जैसे राउटिंग मेटाडेटा हीडर्स शामिल होते हैं। स्विचबोर्ड में http://localhost:7272 पर एक डैशबोर्ड और प्रोवाइडर्स, कीज़, मॉडल्स, और पॉलिसीज को प्रबंधित करने के लिए एक CLI टूल (sb) शामिल है। आप ट्रैफ़िक भेजे बिना राउटिंग निर्णयों की सिमुलेशन कर सकते हैं, 'auto' (फ्री-फर्स्ट), 'fast', 'quality', या 'failover' जैसे रणनीतियों को ट्यून कर सकते हैं, और विस्तृत लॉग्स और उपयोग रिपोर्ट देख सकते हैं। यह Node.js 22.13+ के साथ बनाया गया है, नेटिव मॉड्यूल के बिना SQLite का उपयोग करता है, और Windows, macOS, और Linux पर समान रूप से काम करता है। रेज़िलियंस फीचर्स में प्रत्येक कनेक्शन के लिए सर्किट ब्रेकर्स, रेट लिमिट के बाद मॉडल लॉकआउट्स, और maxAttempts तक फॉलबैक वॉक शामिल हैं। एक बार शुरू होने के बाद स्ट्रीमिंग रिस्पांसेस को फिर से नहीं भेजा जाता है। कॉन्फ़िगरेशन सान डिफॉल्ड्स के साथ वैकल्पिक है, और सुरक्षा के लिए CORS डिफॉल्ट रूप से बंद है। डेस्कटॉप ऐप Electron के माध्यम से बिल्ड होता है और सिस्टम ट्रे में चलता है, start-at-login सपोर्ट के साथ। यह अभी भी pre-1.0 है, जिसने ~1035 टेस्ट के साथ बड़े ऑडिट फाइंडिंग्स सहित, स्ट्रक्चर्ड लॉगिंग विद रेडक्शन, पेर्स्टेड रेट लिमिटिंग, और सुरक्षित क्रेडेंशियल हैंडलिंग सहित कई मुद्दों को संबोधित किया है। ज्ञात सीमाओं में अभी तक कोई npm रिलीज़ नहीं है (git clone के माध्यम से इंस्टॉल करें), कोई इंड-टू-एंड टेस्ट नहीं है, एडमिन एक्शंस के लिए कोई ऑडिट लॉग नहीं है, और कोई ग्रैसफुल शटडाउन नहीं है। बिना रिवर्स प्रॉक्सी और ऑथेंटिकेशन के पब्लिक इंटरनेट एक्सपोज़र के लिए यह उपयुक्त नहीं है।