इस प्रोजेक्ट के बारे में

LLM Cache Proxy एक कैशिंग लेयर है जो OpenAI API के लिए FastAPI का उपयोग करके बनाया गया है। यह OpenAI चैट कंप्लीशन एंडपॉइंट के लिए आने वाले अनुरोधों को इंटरसेप्ट करता है और समान अनुरोधों के लिए कैश किए गए उत्तर प्रदान करता है, जिससे डेवलपमेंट के दौरान API लागत कम होती है और रिस्पॉन्स लैंटेन्सी सुधरती है। मुख्य क्षमताएं: - स्ट्रीमिंग और नॉन-स्ट्रीमिंग दोनों मोड के साथ OpenAI API उत्तरों का कैशिंग। - चैट कंप्लीशन एंडपॉइंट के लिए OpenAI API संगतता। - पुनरारंभ के बीच डेटा बनाए रखने के लिए स्थायी कैश स्टोरेज। - Python या Docker के माध्यम से डिप्लॉयमेंट विकल्प। - दो अलग-अलग एंडपॉइंट: कैश किए गए अनुरोधों के लिए `/cache/chat/completions` और बिना कैश वाले अनुरोधों के लिए `/chat/completions`।