প্রকল্প সম্পর্কে

Switchboard একটি লোকাল-ফার্স্ট AI গেটওয়ে যা সম্পূর্ণভাবে আপনার মেশিনে চলে, এক OpenAI-কম্প্যাটিবল এন্ডপয়েন্ট অফার করে ১৬টি ভিন্ন AI প্রভাইডারের মধ্যে অনুরোধ রুট করতে — Groq, Cerebras, Google, OpenRouter, DeepSeek, Mistral, OpenAI এবং Anthropic সহ। এটি রিয়েল-টাইম ফ্যাক্টর যেমন স্বাস্থ্য, লেটেন্সি, খরচ এবং টায়ার অনুযায়ী প্রতিটি অনুরোধের জন্য সর্বোত্তম প্রভাইডার বুদ্ধিমানভাবে নির্বাচন করে — ফ্রি টায়ারকে অগ্রাধিকার দিয়ে এবং কোনো প্রভাইডার ব্যর্থ হলে স্বয়ংক্রিয়ভাবে ফলব্যাক করে। প্রতিটি রুটিং সিদ্ধান্ত বিস্তারিত সংরক্ষিত ও ব্যাখ্যা করা হয়, দেখায় কেন প্রতিটি ক্যান্ডিডেট নির্বাচিত বা বাদ দেওয়া হয়েছে — খরচের হিসাব ও ব্যর্থতার কারণসহ। এই সিস্টেমটির কোনো ক্লাউড অ্যাকাউন্ট বা টেলিমেট্রির প্রয়োজন নেই; ক্রেডেনশিয়াল স্থানীয়ভাবে AES-256-GCM দিয়ে এনক্রিপ্ট হয় এবং আপস্ট্রিম API কল ছাড়া অন্যথায় আপনার ডিভাইস থেকে কখনও যায় না। এটি স্ট্রিমিং ও নন-স্ট্রিমিং চ্যাট কমপ্লিশন, এম্বেডিং, ইমেজ জেনারেশন, অডিও স্পিচ ও ট্রান্সক্রিপশন, রিরাংকিং ও মোডারেশন এন্ডপয়েন্ট সমর্থন করে। সকল রেসপন্সে রুটিং মেটাডেটা হেডার অন্তর্ভুক্ত থাকে — ব্যবহৃত প্রভাইডার, মডেল, টায়ার, খরচ, লেটেন্সি, এবং প্রযোজ্য ক্ষেত্রে ফলব্যাক কারণ। Switchboard-এ http://localhost:7272 ঠিকানায় একটি ড্যাশবোর্ড এবং প্রভাইডার, কী, মডেল ও পলিসি পরিচালনার জন্য একটি CLI টুল (sb) রয়েছে। আপনি ট্রাফিক পাঠানো ছাড়াই রুটিং সিদ্ধান্ত সিমুলেট করতে পারেন, 'auto' (ফ্রি-ফার্স্ট), 'fast', 'quality', বা 'failover' এর মতো কৌশল টিউন করতে পারেন, এবং বিস্তারিত লগ ও ব্যবহার রিপোর্ট দেখতে পারেন। এটি Node.js 22.13+ দিয়ে তৈরি, SQLite ব্যবহার করে নেটিভ মডিউল ছাড়াই পERSISTENCE, এবং Windows, macOS ও Linux-এ অভিন্নভাবে কাজ করে। রেজিলিয়েন্স ফিচারে প্রতিটি কানেকশনের জন্য সার্কিট ব্রেকার, রেট লিমিটের পর মডেল লকআউট, এবং maxAttempts পর্যন্ত ফলব্যাক ওয়াক রয়েছে। একবার শুরু হলে স্ট্রিমিং রেসপন্স আর রিট্রাই করা হয় না। কনফিগারেশন অবশ্য নয় — সane ডিফল্ট আছে। CORS ডিফল্টভাবে নিরাপত্তার জন্য অক্ষম। ডেস্কটপ অ্যাপ Electron দিয়ে বিল্ড হয় এবং সিস্টেম ট্রে-তে চলে, start-at-login সাপোর্ট সহ। এখনও pre-1.0, এটি প্রধান অডিট ফাইন্ডিংস ঠিক করেছে — টেস্ট কভারেজ (~1035 টেস্ট), স্ট্রাকচার্ড লগিং ও রিডাকশন, persisted রেট লিমিটিং এবং নিরাপদ ক্রেডেনশিয়াল हैंडলিং। পরিচিত সীমাবদ্ধতা: এখনও npm রিলিজ নেই (git clone দিয়ে ইনস্টল করুন), কোনো end-to-end টেস্ট নেই, অ্যাডমিন অ্যাকশনের কোনো অডিট লগ নেই, এবং গ্রেসফুল শাটডাউন নেই। বিপরীত প্রক্সি ও অথেন্টিকেশন ছাড়া পাবলিক ইন্টারনেটে এক্সপোজ করার উদ্দেশ্য নয়।