প্রকল্প সম্পর্কে

TAP (Token Analytics Proxy) হলো একটি সেলফ-হোস্টেড মিডলওয়্যার যা একটি অ্যাপ্লিকেশন এবং LLM প্রোভাইডারদের (বিশেষ করে OpenAI) মাঝে স্থাপন করার জন্য ডিজাইন করা হয়েছে। এটি ডেভেলপারদের তাদের অ্যাপ্লিকেশনের কোর লজিক পরিবর্তন না করেই API ট্রাফিক মনিটর এবং ম্যানেজ করার সুযোগ দেয়। এর মূল ক্ষমতাগুলোর মধ্যে রয়েছে: - **Traffic Analytics**: প্রতিটি কল একটি PostgreSQL ডাটাবেসে রেকর্ড করে, যা মডেল ব্যবহার, টোকেন সংখ্যা, খরচ, ল্যাটেন্সি (স্ট্রিমিংয়ের জন্য TTFT সহ) এবং স্ট্যাটাস কোড ট্র্যাক করে। - **Caching**: রিকোয়েস্ট/রেসপন্স পেয়ার সংরক্ষণ করতে Redis ব্যবহার করে, যা একই রিকোয়েস্টগুলোকে ক্যাশ থেকে প্রদান করে খরচ এবং ল্যাটেন্সি কমাতে সাহায্য করে। - **Rate Limiting**: Redis ব্যবহার করে প্রতি API কি-এর জন্য প্রতি মিনিটে রিকোয়েস্ট বাজেট বাস্তবায়ন করে। - **API Key Management**: বিভিন্ন অ্যাপ বা টিম শনাক্ত করার জন্য কাস্টম TAP কি ইস্যু করার সুবিধা দেয়। - **Monitoring Dashboard**: একটি React-ভিত্তিক ফ্রন্টএন্ড যা ভলিউম, মডেল প্রতি খরচ, গতি, ক্যাশ হিট রেট এবং এরর রেটের জন্য লাইভ চার্ট প্রদান করে। সিস্টেমটি স্ট্রিমিং রেসপন্স সমর্থন করে এবং FastAPI, SQLAlchemy 2.0 এবং Redis-এর সমন্বয়ে একটি অ্যাসিনক্রোনাস স্ট্যাক ব্যবহার করে। এতে প্রশাসনিক কাজের জন্য একটি CLI এবং লাইভ API কি ছাড়াই ডেভেলপমেন্ট করার জন্য একটি মক আপস্ট্রিম সার্ভার অন্তর্ভুক্ত রয়েছে।