इस प्रोजेक्ट के बारे में

TAP (Token Analytics Proxy) एक सेल्फ-होस्टेड मिडलवेयर है जिसे एक एप्लिकेशन और LLM प्रदाताओं (विशेष रूप से OpenAI) के बीच स्थापित करने के लिए डिज़ाइन किया गया है। यह डेवलपर्स को उनके एप्लिकेशन के कोर लॉजिक को बदले बिना API ट्रैफिक की निगरानी और प्रबंधन करने की अनुमति देता है। मुख्य क्षमताओं में शामिल हैं: - **Traffic Analytics**: PostgreSQL डेटाबेस में हर कॉल को रिकॉर्ड करता है, जिससे मॉडल उपयोग, टोकन काउंट, लागत, लेटेंसी (स्ट्रीमिंग के लिए TTFT सहित), और स्टेटस कोड को ट्रैक किया जा सके। - **Caching**: अनुरोध/प्रतिक्रिया (request/response) जोड़ों को स्टोर करने के लिए Redis का उपयोग करता है, जिससे लागत और लेटेंसी को कम करने के लिए समान अनुरोधों को कैश से सर्व किया जा सके। - **Rate Limiting**: Redis का उपयोग करके प्रति API कुंजी अनुरोध-प्रति-मिनट बजट लागू करता है। - **API Key Management**: विभिन्न ऐप्स या टीमों की पहचान करने के लिए कस्टम TAP कुंजियों जारी करने की अनुमति देता है। - **Monitoring Dashboard**: एक React-आधारित फ्रंटएंड जो वॉल्यूम, प्रति मॉडल लागत, गति, कैश हिट रेट और त्रुटि दरों के लिए लाइव चार्ट प्रदान करता है। यह सिस्टम स्ट्रीमिंग रिस्पॉन्स का समर्थन करता है और FastAPI, SQLAlchemy 2.0 और Redis वाली एक एसिंक्रोनस स्टैक का उपयोग करता है। इसमें प्रशासनिक कार्यों के लिए एक CLI और लाइव API कुंजी की आवश्यकता के बिना विकास के लिए एक मॉक अपस्ट्रीम सर्वर शामिल है।