منصوبے کے بارے میں

exo ایک open-source پروجیکٹ ہے جسے exo labs دیکھ بھال کرتی ہے اور یہ ڈیوائسز کے ایک سیٹ کو ایک مقامی AI کلسٹر میں بدل دیتا ہے۔ اس کا بیان کردہ مقصد frontier AI ماڈلز کو مقامی طور پر چلانا ہے، بشمول ایسے ماڈلز جو ایک واحد ڈیوائس پر فٹ نہیں ہوتے۔ README خودکار ڈیوائس دریافت پر زور دیتی ہے، تاکہ exo چلانے والے ڈیوائسز بغیر کسی دستی ترتیب کے ایک دوسرے کو ڈھونڈ لیں۔ اہم دستاویزی صلاحیتیں: - exo چلانے والی مشینوں پر ڈیوائسز کی خودکار دریافت۔ - Thunderbolt 5 پر RDMA سپورٹ، جسے day-0 قرار دیا گیا ہے، README کے مطابق ڈیوائسز کے درمیان latency میں 99% کمی۔ - Topology-aware auto parallel: سسٹم ڈیوائس وسائل اور نیٹ ورک latency/bandwidth کی بنیاد پر یہ خود طے کرتا ہے کہ ماڈل کو دستیاب ڈیوائسز پر کیسے تقسیم کیا جائے۔ - Tensor parallelism، README کے مطابق 2 ڈیوائسز پر 1.8x تک اور 4 ڈیوائسز پر 3.2x تک رفتار میں اضافہ۔ - MLX بطور inference backend، جس میں مواصلات کے لیے MLX distributed استعمال ہوتا ہے۔ - OpenAI Chat Completions، Claude Messages، OpenAI Responses اور Ollama APIs کے ساتھ API ہم آہنگی۔ - HuggingFace hub سے حسب ضرورت ماڈل لوڈنگ۔ - کلسٹر کے انتظام اور ماڈلز سے گفتگو کے لیے ایک built-in ڈیش بورڈ، جو http://localhost:52415 پر دستیاب ہے۔ README میں بیان کردہ انسٹالیشن کے راستوں میں macOS اور Linux پر source سے چلانا، ایک Nix flake کمانڈ، اور DMG یا Homebrew cask کے ذریعے تقسیم کیا جانے والا macOS ایپ شامل ہیں۔ macOS پر پروجیکٹ GPU استعمال کرتا ہے؛ Linux پر یہ فی الحال CPU پر چلتا ہے، جبکہ GPU سپورٹ کو زیرِ ترقی بتایا گیا ہے۔ README ماڈل ڈائریکٹریز، آف لائن موڈ، image ماڈلز، کلسٹر namespace isolation اور tracing کے لیے environment variables بھی بیان کرتی ہے، نیز exo-bench نامی ایک benchmarking ٹول۔ README کی benchmark تصاویر Jeff Geerling سے منسوب ہیں اور tensor parallel RDMA کے ساتھ چار M3 Ultra Mac Studio مشینوں پر چلتی ہوئی Qwen3-235B، DeepSeek v3.1 671B اور Kimi K2 Thinking دکھاتی ہیں۔ یہ اس ڈائریکٹری کی جانب سے آزادانہ تصدیق کے بجائے تیسری فریق کی پیمائشیں ہیں۔ لائسنس Apache-2.0 ہے۔ پروجیکٹ اپ ڈیٹس کے لیے ایک Discord کمیونٹی اور ایک X اکاؤنٹ فراہم کرتا ہے۔