عن المشروع

يوفر JouleWise إطار عمل محكم لقياس استهلاك الطاقة في مراحل استنتاج LLM. وهو يطبق مسار عمل صارم قائم على الأدلة حيث يتم تسجيل جلسات القياس (النوافذ) في حزم تشغيل غير قابلة للتغيير تحتوي على تكوينات موحدة، وسجلات الأحداث، وتتبعات الطاقة الخام. تشمل القدرات الرئيسية ما يلي: - نظام اختبار قابل للتشغيل مع واجهة سطر أوامر (CLI) لتنفيذ عمليات التشغيل، والتحقق من صحة الحزم، وتقليل البيانات الخام إلى مقاييس ملخصة، وإنشاء تقارير HTML ثابتة. - دعم لعدة محولات قياس عن بعد، بما في ذلك MLX runtime مع powermetrics لمعالجات Apple Silicon، ومجموعة أدوات تعتمد على vLLM لمعالجات NVIDIA GPUs. - أدوات تحقق صارمة (`validate-bundle`) لضمان سلامة الأدلة المسجلة ومصدرها. - نظام تكوين محدد الأنواع مع إمكانية التصدير والتحقق باستخدام JSON-Schema. - دعم لكل من عرض الطاقة المقاسة الإجمالية وعرض الطاقة بعد طرح استهلاك وضع الخمول للسماح بإجراء مقارنات بين الأجهزة والتكوينات المختلفة.