প্রকল্প সম্পর্কে

LLM Router হলো একটি লোকাল ডেস্কটপ অ্যাপ্লিকেশন যা AI ক্লায়েন্ট (যেমন Claude Code, Cursor, এবং Codex CLI) এবং বিভিন্ন LLM প্রোভাইডার যেমন OpenAI, Anthropic, Google Gemini এবং DeepSeek-এর মধ্যে একটি বুদ্ধিমান প্রক্সি হিসেবে কাজ করে। এর প্রাথমিক লক্ষ্য হলো একটি একক প্রোভাইডারের সাথে কথোপকথনের "stickiness" বজায় রেখে API খরচ কমানো, যাতে দীর্ঘ কথোপকথনের সময় প্রম্পট ক্যাশিং ডিসকাউন্ট বজায় থাকে। এই অ্যাপটি একটি ইউনিফাইড লোকাল API এন্ডপয়েন্ট (localhost:11411) প্রদান করে এবং OpenAI ও Anthropic উভয় স্টাইলের রিকোয়েস্ট ফরম্যাট সমর্থন করে। এর মূল ক্ষমতাগুলোর মধ্যে রয়েছে: - খরচ অপ্টিমাইজেশন: ব্যবহৃত টোকেন, খরচ করা অর্থ এবং ক্যাশ হিটের মাধ্যমে অর্জিত সাশ্রয়ের হিসাব রাখে। - বুদ্ধিমান রাউটিং: মডেলের নাম, প্রম্পটের দৈর্ঘ্য বা প্রোভাইডারের সহজলভ্যতার ভিত্তিতে রিকোয়েস্ট রাউট করার জন্য কাস্টমাইজযোগ্য নিয়ম। - স্বচ্ছতা: একটি "Routing Explain" ফিচার যা বিস্তারিত জানায় কেন একটি নির্দিষ্ট মডেল বেছে নেওয়া হয়েছে এবং কোন বিকল্পগুলো বিবেচনা করা হয়েছিল। - সহজ ইন্টিগ্রেশন: Claude Code এবং Codex CLI-এর মতো নির্দিষ্ট টুলগুলোর কনফিগারেশন স্বয়ংক্রিয় করতে ওয়ান-ক্লিক "App Takeover" সুবিধা। - গোপনীয়তা: এমবেডেড SQLite ডাটাবেস ব্যবহার করে লোকাল-ফার্স্ট আর্কিটেকচার; API কী-গুলো লোকালি সংরক্ষিত থাকে এবং কখনোই ডিভাইস থেকে বাইরে যায় না। - ক্রস-প্ল্যাটফর্ম সাপোর্ট: macOS, Windows এবং Linux-এর জন্য উপলব্ধ।