প্রকল্প সম্পর্কে

exo হল exo labs দ্বারা রক্ষণাবেক্ষণ করা একটি ওপেন-সোর্স প্রকল্প যা একাধিক ডিভাইসকে একটি স্থানীয় AI ক্লাস্টারে পরিণত করে। এর ঘোষিত লক্ষ্য হল স্থানীয়ভাবে ফ্রন্টিয়ার AI মডেল চালানো, যার মধ্যে এমন মডেলও রয়েছে যা একটি একক ডিভাইসে ফিট হবে না। README স্বয়ংক্রিয় ডিভাইস আবিষ্কারের উপর জোর দেয়, তাই exo চালানো ডিভাইসগুলি ম্যানুয়াল কনফিগারেশন ছাড়াই একে অপরকে খুঁজে পায়। নথিভুক্ত মূল ক্ষমতাসমূহ: - exo চালানো মেশিনগুলির মধ্যে স্বয়ংক্রিয় ডিভাইস আবিষ্কার। - থান্ডারবোল্ট 5-এর উপর RDMA সমর্থন, যা দিন-0 হিসাবে বর্ণিত, README দাবি করে ডিভাইসগুলির মধ্যে লেটেন্সি 99% হ্রাস পায়। - টপোলজি-সচেতন অটো প্যারালাল: সিস্টেমটি ডিভাইস সংস্থান এবং নেটওয়ার্ক লেটেন্সি/ব্যান্ডউইথের ভিত্তিতে উপলব্ধ ডিভাইসগুলির মধ্যে একটি মডেল কীভাবে বিভক্ত করবে তা বেছে নেয়। - টেনসর প্যারালালিজম, README বলে 2 ডিভাইসে 1.8x গতি বৃদ্ধি এবং 4 ডিভাইসে 3.2x। - MLX ইনফারেন্স ব্যাকএন্ড হিসাবে, যোগাযোগের জন্য MLX ডিস্ট্রিবিউটেড সহ। - OpenAI Chat Completions, Claude Messages, OpenAI Responses এবং Ollama API-এর সাথে API সামঞ্জস্য। - HuggingFace হাব থেকে কাস্টম মডেল লোডিং। - ক্লাস্টার পরিচালনা এবং মডেলগুলির সাথে চ্যাট করার জন্য একটি অন্তর্নির্মিত ড্যাশবোর্ড, http://localhost:52415-এ পরিবেশিত। README-এ বর্ণিত ইনস্টলেশন পদ্ধতিগুলির মধ্যে রয়েছে macOS এবং Linux-এ সোর্স থেকে চালানো, একটি Nix flake কমান্ড এবং একটি macOS অ্যাপ যা DMG হিসাবে বা Homebrew cask-এর মাধ্যমে বিতরণ করা হয়। macOS-এ প্রকল্পটি GPU ব্যবহার করে; Linux-এ এটি বর্তমানে CPU-তে চলে, GPU সমর্থন উন্নয়নাধীন হিসাবে উল্লেখ করা হয়েছে। README মডেল ডিরেক্টরি, অফলাইন মোড, ইমেজ মডেল, ক্লাস্টার নেমস্পেস বিচ্ছিন্নতা এবং ট্রেসিংয়ের জন্য পরিবেশ পরিবর্তনশীলগুলিও নথিভুক্ত করে, পাশাপাশি exo-bench নামে একটি বেঞ্চমার্কিং টুল। README-তে বেঞ্চমার্ক চিত্রগুলি জেফ গিয়ারলিং-এর জন্য দায়ী এবং চারটি M3 আল্ট্রা ম্যাক স্টুডিও মেশিনে টেনসর প্যারালাল RDMA সহ Qwen3-235B, DeepSeek v3.1 671B এবং Kimi K2 Thinking চলমান দেখায়। এগুলি এই ডিরেক্টরির দ্বারা স্বাধীন যাচাইয়ের পরিবর্তে তৃতীয় পক্ষের পরিমাপ। লাইসেন্সিং Apache-2.0। প্রকল্পটি একটি Discord সম্প্রদায় এবং আপডেটের জন্য একটি X অ্যাকাউন্ট সরবরাহ করে।