প্রকল্প সম্পর্কে

llm-router একটি হালকা, সিঙ্গেল-বাইনারি রিভার্স প্রক্সি যা Claude-এর মতো LLM API ব্যবহারের সময় খরচ কমানোর জন্য তৈরি। এটি আপনার অ্যাপ্লিকেশন এবং LLM প্রদানকারীদের মধ্যে বসে প্রতিটি রিকোয়েস্টকে সুলভ মডেলে রাউট করে — যেমন সহজ প্রশ্নের জন্য Haiku, মাঝারি কাজের জন্য Sonnet, বা জটিল যুক্তির জন্য Opus। এতে সেম্যান্টিক ক্যাশিং (Jaccard সাদৃশ্য ব্যবহার করে, বাইরের এম্বেডিং ছাড়া), একই ধরনের সমসাময়িক অনুরূপ রিকোয়েস্টের ডুপ্লিকেট অপসারণ এবং নির্ভরতা ট্র্যাকিং ও সমান্তরাল বর্ের সাথে DAG হিসেবে সংজ্ঞায়িত মাল્ટি-স্টেপ এজেন্ট কর্মপ্রবাহ পরিচালনা অন্তর্ভুক্ত রয়েছে। সিস্টেম ব্যাকএন্ড স্বাস্থ্য এবং লোড রিয়েল-টাইমে ট্র্যাক করে, স্বয়ংক্রিয়ভাবে ক্ষতিগ্রস্ত বা ভারী মডেল এড়িয়ে চলে। এতে ML-অ্যাসিস্টেড রাউটিং, ফিডব্যাক ক্যালিব্রেশন, বিস্তারিত খরচ ট্র্যাকিং এবং সাশ্রয়ের রিপোর্ট রয়েছে। YAML-এর মাধ্যমে কনফিগারেবল; এটি Anthropic, Ollama, vLLM, অথবা যেকোনো OpenAI-কম্প্যাটিবল ব্যাকএন্ডের সাথে কাজ করে। ৭টি গবেষণা পেপার এবং ওপেন-সোর্স সিস্টেমের কৌশল দিয়ে তৈরি; কোনো বাইরের নির্ভরতা নেই এবং ৫৭টি টেস্ট রয়েছে। উৎপাদন পরিবেশে API খরচ কমাতে পারফরম্যান্স ও স্থিতিস্থাপকতা বজায় রাখতে আদর্শ।