مصدر مفتوح. آفاق جديدة.

vllmvllm-project

vLLM هي مكتبة عالية الإنتاجية وفعالة في استهلاك الذاكرة، مصممة لاستنتاج ونشر النماذج اللغوية الكبيرة (LLM).

InferenceX هي منصة بحثية مفتوحة المصدر بترخيص Apache-2.0 لأداء الاستدلال، تُجري قياسات مستمرة لمجموعات خدمة نماذج اللغة الكبيرة مفتوحة المصدر، وتكوينات العتاد، والمشغلات، والشبكات، واستهلاك الطاقة، مع لوحات معلومات عامة ومكونات قياس قابلة لإعادة الاستخدام.

SkyPilot هو نظام مفتوح المصدر لتشغيل وإدارة وتوسيع أحمال عمل الذكاء الاصطناعي عبر Kubernetes وSlurm وأكثر من 20 سحابة. يوفر واجهة موحدة بـ YAML/Python، وتوفيرًا تلقائيًا لوحدات GPU/TPU مع تجاوز الأعطال، وطوابير مهام، وإيقافًا تلقائيًا، وجدولة متعددة العناقيد.

Lumen هو محرك استدلال LLM مكتوب بلغة Rust، مصمم لأجهزة Apple Silicon عبر Metal وNVIDIA عبر CUDA، بدون اعتماديات PyTorch أو ONNX أو Python. يقوم بتحميل وتحويل وتشغيل نماذج Qwen3.5/3.8 على وحدة معالجة الرسومات، ويوفر خدمة HTTP متوافقة مع OpenAI وAnthropic بالإضافة إلى توليد الصور من النص عبر CUDA.

Helix هي منصة قابلة للاستضافة الذاتية لتشغيل أسطول من وكلاء البرمجة بالذكاء الاصطناعي، لكل منهم سطح مكتب معزز بوحدة معالجة الرسومات، وتُدار عبر لوحة كانبان قائمة على المواصفات.

rayray-project

Ray هو إطار عمل موحد لتوسيع تطبيقات الذكاء الاصطناعي وPython من جهاز لابتوب واحد إلى مجموعة موزعة.