প্রকল্প সম্পর্কে

llm-router-gate হল একটি Python CLI এবং SDK, যা ডেভেলপারদের জন্য তৈরি করা হয়েছে যারা একক‑শট LLM API কলের সঠিক দৃশ্যমানতা প্রয়োজন। এটি Anthropic, OpenRouter, অথবা স্থানীয় llama.cpp সার্ভারে রিকোয়েস্ট রাউট করে, স্ট্রিমিং রেসপন্স প্রদান করে এবং সম্পূর্ণ HTTP স্তর উন্মোচন করে — হেডার, কাঁচা SSE ইভেন্ট এবং চূড়ান্ত পে-লোডসহ। এটি টোকেন সংখ্যা এবং খরচের অনুমান প্রদান করে, যার উৎস স্পষ্ট, যা ব্যবহারকারীদের প্রদানকারী তুলনা করতে, ফাঁকা রেসপন্স ডিবাগ করতে, অথবা ডিপ্লয়মেন্টের আগে প্রম্পটের খরচ যাচাই করতে সাহায্য করে। এই টুল ইচ্ছাকৃতভাবে চ্যাট ইতিহাস, রিট্রাই বা সিস্টেম প্রম্পট এড়িয়ে চলে, এবং 'curl -v' এর মতো LLM-গুলোর জন্য কাজ করে, সঙ্গে একটি অন্তর্নির্মিত ক্যালকুলেটর থাকে। এটি ত্রি‑অবস্থা রিজনিং টগল সমর্থন করে, স্ট্রিমিং আউটপুটে উত্তর এবং রিজনিং চ্যানেল আলাদা করে, এবং অথরিটেটিভ সার্ভার ফিল্ড বা ফallback হিউরিস্টিক থেকে টোকেন ব্যবহার রিপোর্ট করে। নিরাপত্তা নোট: এটি সব হেডার, API কীসহ, লগ করে — শেয়ার করার আগে রেড্যাক্ট করুন। Python ≥3.14 প্রয়োজন এবং নির্ভরতা ব্যবস্থাপনার জন্য uv ব্যবহার করে। ব্যাকএন্ডে কোনো অ্যাবস্ট্রাকশন লেয়ার ছাড়া ডিবাগিং, বেঞ্চমার্কিং বা LLM আচরণ যাচাই করার জন্য আদর্শ।