इस प्रोजेक्ट के बारे में

exo एक ओपन-सोर्स प्रोजेक्ट है जिसे exo labs द्वारा बनाए रखा जाता है, जो उपकरणों के एक समूह को स्थानीय AI क्लस्टर में बदल देता है। इसका घोषित लक्ष्य फ्रंटियर AI मॉडल को स्थानीय रूप से चलाना है, जिसमें ऐसे मॉडल भी शामिल हैं जो एकल डिवाइस पर फिट होने से बड़े होते हैं। README स्वचालित डिवाइस खोज पर जोर देता है, ताकि exo चलाने वाले उपकरण बिना मैन्युअल कॉन्फ़िगरेशन के एक-दूसरे को ढूंढ सकें। प्रमुख प्रलेखित क्षमताएँ: - exo चलाने वाली मशीनों में स्वचालित डिवाइस खोज। - थंडरबोल्ट 5 पर RDMA समर्थन, जिसे day-0 के रूप में वर्णित किया गया है, README का दावा है कि उपकरणों के बीच विलंबता में 99% कमी आती है। - टोपोलॉजी-जागरूक ऑटो समानांतर: सिस्टम डिवाइस संसाधनों और नेटवर्क विलंबता/बैंडविड्थ के आधार पर उपलब्ध उपकरणों में मॉडल को विभाजित करने का तरीका चुनता है। - टेंसर समानांतरता, README के अनुसार 2 उपकरणों पर 1.8x तक और 4 उपकरणों पर 3.2x तक गति। - MLX इन्फ्रेंस बैकएंड के रूप में, संचार के लिए MLX वितरित। - OpenAI Chat Completions, Claude Messages, OpenAI Responses, और Ollama APIs के साथ API संगतता। - HuggingFace हब से कस्टम मॉडल लोड करना। - क्लस्टर प्रबंधन और मॉडलों के साथ चैट करने के लिए एक अंतर्निहित डैशबोर्ड, http://localhost:52415 पर उपलब्ध। README में वर्णित इंस्टॉलेशन विधियों में macOS और Linux पर स्रोत से चलाना, एक Nix flake कमांड, और एक macOS ऐप शामिल है जो DMG या Homebrew cask के माध्यम से वितरित किया जाता है। macOS पर प्रोजेक्ट GPU का उपयोग करता है; Linux पर यह वर्तमान में CPU पर चलता है, GPU समर्थन विकास के अधीन है। README मॉडल निर्देशिकाओं, ऑफ़लाइन मोड, इमेज मॉडल, क्लस्टर नेमस्पेस अलगाव, और ट्रेसिंग के लिए पर्यावरण चर, साथ ही exo-bench नामक एक बेंचमार्किंग टूल का भी दस्तावेजीकरण करता है। README में बेंचमार्क छवियों का श्रेय Jeff Geerling को दिया गया है और वे चार M3 Ultra Mac Studio मशीनों पर टेंसर समानांतर RDMA के साथ Qwen3-235B, DeepSeek v3.1 671B, और Kimi K2 Thinking चलते हुए दिखाती हैं। ये तृतीय-पक्ष माप हैं, न कि इस निर्देशिका द्वारा स्वतंत्र सत्यापन। लाइसेंसिंग Apache-2.0 है। प्रोजेक्ट एक Discord समुदाय और अपडेट के लिए एक X खाता प्रदान करता है।