عن المشروع
jevos هو بديل محلي مفتوح المصدر لـ Jev لاتخاذ قرارات نعم/لا. ترسل نصًا ("الحالة") بالإضافة إلى سؤال أو أكثر بنعم/لا، ويعيد P(نعم) لكل منها. صُمم ليعمل على معالج الكمبيوتر المحمول، مع زمن استجابة يتراوح تقريبًا بين 50-220 مللي ثانية حسب طول الطلب.
ما يفعله
- أسئلة نعم/لا: كل إجابة هي احتمال بين 0 و1 (قيمة "noul").
- يمكن طرح أسئلة متعددة مسماة في طلب واحد؛ تشترك في نفس الحالة التي تُقرأ مرة واحدة، لذا تكلفة عدة أسئلة أقل من طرحها بشكل منفصل.
- يمكن أن تكون الحالة سلسلة نصية عادية أو أي كائن/مصفوفة JSON.
- أنواع الأسئلة متعددة الخيارات والتقييم غير مدعومة بعد (مدرجة كـ"قريبًا")؛ تُرفض هذه الطلبات برمز HTTP 422.
كيف يعمل
- يستخدم نموذج GGUF مكمم (jevos-q4_k_m.gguf) يُقدَّم عبر llama.cpp، ويمكن تثبيته على وحدة المعالجة المركزية باستخدام --device cpu وعدد محدد من الخيوط.
- يتحدث الخادم بصيغة الأسلاك الخاصة بـ TypeSafe Jev، لذا يعمل الكود المكتوب لـ Jev SDK دون تغيير لأسئلة نعم/لا.
واجهة البرمجة والواجهة السطرية
- POST /v1/systemone يقبل model وstate وquestions، ويعيد الإجابات بالإضافة إلى استخدام الرموز.
- GET /v1/models وGET /health متاحان أيضًا؛ تتضمن الردود ترويسة Server-Timing مع وقت الاستدلال.
- أمر سطر أوامر، jev decide، يجيب على ملف طلب واحد دون تشغيل خادم، مع إمكانية كتابة الإجابة في ملف جديد (لا تُستبدل الملفات الموجودة).
- دليل البدء السريع يستخدم uv لتثبيت التبعيات، وتنزيل بيئة تشغيل llama.cpp، وبدء الخادم على 127.0.0.1:8017.
ملاحظات عملية
- ينصح README بوضع قواعد القرار مباشرة في تعليمات السؤال؛ حقل المعايير الاختياري في Jev مقبول لكنه يُتجاهل.
- تغطي الويكي تصنيف النصوص الصفري، وLLM كحكم على وحدة المعالجة المركزية، وقرارات السياسة، وسلوك النموذج الملحوظ مثل سبب قول LLM صغير نعم عندما تكون الإجابة لا.
- يُنسب المشروع إلى أنه بُني بالتعاون مع Loris Salsi (@LosaLosSantos).
Comments
0 people shared their preference · Deer Point appears after 10 participants
Sign in to join the discussion.