عن المشروع

LLM Context Squeezer هو وكيل API محلي مُبنى باستخدام FastAPI يعمل كوسيط بين التطبيقات وموفري نماذج الذكاء الاصطناعي الذين يتوافقون مع واجهة OpenAI. يهدف إلى تقليل استهلاك الرموز (Tokens) وتكاليف API من خلال عدة تقنيات تحسين آلية: - **ضغط السياق الديناميكي**: عندما يتجاوز سجل المحادثة عتبة محددة، يستخدم الوكيل نموذجاً أقل تكلفة (مثل gpt-4o-mini) لتلخيص أقدم جزء من الدردشة، ويحقن تلخيصاً مركزاً في Prompt النظام. - **إزالة التكرار**: يستخدم محرك ذو مرحلتين يعتمد على تجزئة SHA-256 مطابقة النصوص البرمجية المتطابقة حرفياً ومثيل جارد Jaccard للمطابقة التقريبية للرسوم النصية شبه المكررة، حيث يستبدل التكرارات بشواخص مضغوطة. - **التخزين المؤقت الدلالي**: يعتمد SQLite بوضع WAL لتوفير المطابقة الدقيقة وال aproximative للـ Prompts وإعادة الردود المخزنة للقضاء على استدعاءات API غير الضرورية. - **تكامل سهل**: يطبق عقد OpenAI /v1/chat/completions، مما يتيح له العمل مع OpenAI Python SDK وLangChain وAutoGen وCrewAI بتغيير بسيط لعنوان URL الأساسي. يقدم الوكيل القدرة على المراقبة من خلال حقول استجابة مُحقنة مثل `x-squeezer-tokens-saved` و`x-squeezer-cache-hit`، ويتضمن نقاط نهاية لفحص الحالة وإحصائيات وقت التشغيل.