প্রকল্প সম্পর্কে

llm-budget-proxy হলো OpenAI API ব্যবহারের ব্যবস্থাপনার জন্য ডিজাইন করা একটি বিশেষায়িত রিভার্স প্রক্সি। এটি প্রতি-কী টোকেন বাজেট (দৈনিক বা মাসিক) এবং রেট লিমিটিং (RPM/TPM)-এর মাধ্যমে API ব্যবহারের ওপর সূক্ষ্ম নিয়ন্ত্রণ প্রদান করে। এর প্রধান সক্ষমতাগুলোর মধ্যে রয়েছে ব্যয় পর্যবেক্ষণের জন্য একটি বিল্ট-ইন কস্ট ড্যাশবোর্ড, খরচ কমাতে এক্সাক্ট-ম্যাচ রেসপন্স ক্যাশিং এবং একটি মডেল ডাউনগ্রেড ফিচার, যা বাজেট সীমা অতিক্রম করলে স্বয়ংক্রিয়ভাবে সস্তা মডেলে সুইচ করে। সিস্টেমটি TypeScript দিয়ে তৈরি এবং ডেটা পারসিস্টেন্সের জন্য SQLite ব্যবহার করে, যা এটিকে একটি একক Docker কন্টেইনার হিসেবে ডেপ্লয় করা সহজ করে তোলে। এটি বাজেট অ্যালার্টের জন্য ওয়েবহুক সমর্থন করে এবং রেসপন্সে বিস্তারিত কাস্টম হেডার প্রদান করে, যেমন রিকোয়েস্ট কস্ট এবং অবশিষ্ট বাজেট। যদিও এটি OpenAI-এর ওপর ফোকাস করা, তবে এটি ডেভেলপমেন্ট এবং স্টেজিং এনভায়রনমেন্টের জন্য আরও জটিল LLM গেটওয়েগুলোর একটি হালকা বিকল্প হিসেবে কাজ করে।