عن المشروع

exo هو مشروع مفتوح المصدر تُشرف عليه مختبرات exo، ويحوّل مجموعة من الأجهزة إلى مجموعة ذكاء اصطناعي محلية. هدفه المعلن هو تشغيل نماذج الذكاء الاصطناعي الرائدة محليًا، بما في ذلك النماذج الأكبر من أن تتسع لجهاز واحد. يبرز ملف README الاكتشاف التلقائي للأجهزة، بحيث تجد الأجهزة التي تشغّل exo بعضها البعض دون إعداد يدوي. القدرات الموثقة الرئيسية: - الاكتشاف التلقائي للأجهزة عبر الأجهزة التي تشغّل exo. - دعم RDMA عبر Thunderbolt 5، الموصوف بأنه متاح من اليوم الأول، مع ادعاء ملف README بتقليل زمن الاستجابة بين الأجهزة بنسبة 99%. - التوازي التلقائي المراعي للطوبولوجيا: يختار النظام كيفية تقسيم النموذج عبر الأجهزة المتاحة بناءً على موارد الجهاز وزمن استجابة الشبكة/النطاق الترددي. - توازي الموتر، حيث يذكر ملف README تسريعًا يصل إلى 1.8x على جهازين و3.2x على أربعة أجهزة. - MLX كخلفية للاستدلال، مع استخدام MLX الموزع للاتصال. - توافق واجهة برمجة التطبيقات مع OpenAI Chat Completions وClaude Messages وOpenAI Responses وOllama APIs. - تحميل نماذج مخصصة من HuggingFace hub. - لوحة تحكم مدمجة لإدارة المجموعة والدردشة مع النماذج، تُقدَّم على http://localhost:52415. مسارات التثبيت الموصوفة في ملف README تشمل التشغيل من المصدر على macOS وLinux، وأمر Nix flake، وتطبيق macOS يُوزَّع كملف DMG أو عبر Homebrew cask. على macOS يستخدم المشروع وحدة معالجة الرسومات؛ وعلى Linux يعمل حاليًا على وحدة المعالجة المركزية، مع الإشارة إلى أن دعم وحدة معالجة الرسومات قيد التطوير. يوثق ملف README أيضًا متغيرات البيئة لأدلة النماذج، والوضع دون اتصال، ونماذج الصور، وعزل مساحة اسم المجموعة، والتتبع، بالإضافة إلى أداة قياس أداء تسمى exo-bench. صور القياس في ملف README منسوبة إلى Jeff Geerling وتُظهر Qwen3-235B وDeepSeek v3.1 671B وKimi K2 Thinking وهي تعمل على أربعة أجهزة Mac Studio M3 Ultra مع توازي الموتر عبر RDMA. هذه قياسات من جهات خارجية وليست تحققًا مستقلاً من هذا الدليل. الترخيص هو Apache-2.0. يوفر المشروع مجتمع Discord وحساب X للتحديثات.