عن المشروع

Proxy ذاكرة التخزين المؤقت LLM هو طبقة تخزين مؤقت لواجهة OpenAI البرمجية تم بناؤها باستخدام FastAPI. يقوم باعتراض الطلبات المرسلة إلى نقطة نهاية إكمال الدردشة في OpenAI وتقديم الاستجابات المخزنة مسبقاً للطلبات المتطابقة، مما يساهم في خفض تكاليف الواجهة وتحسين زمن الاستجابة أثناء مرحلة التطوير. تشمل القدرات الرئيسية: - تخزين مؤقت لاستجابات واجهة OpenAI مع دعم كل من وضعي البث المباشر وغير المباشر. - توافق مع واجهة OpenAI لنقاط نهاية إكمال الدردشة. - تخزين ذاكرة تخزين مؤقت دائم يحافظ على البيانات عبر إعادة التشغيل. - خيارات نشر عبر Python أو Docker. - نقطتا نهاية مختلفتان: `/cache/chat/completions` للطلبات المخزنة مؤقتاً و`/chat/completions` للطلبات غير المخزنة.