Об этом проекте

exo — это проект с открытым исходным кодом, поддерживаемый exo labs, который превращает набор устройств в локальный AI-кластер. Его заявленная цель — запуск передовых моделей ИИ локально, включая модели, которые больше, чем может поместиться на одном устройстве. В README подчеркивается автоматическое обнаружение устройств, поэтому устройства, работающие с exo, находят друг друга без ручной настройки. Ключевые задокументированные возможности: - Автоматическое обнаружение устройств на машинах, работающих с exo. - Поддержка RDMA через Thunderbolt 5, описываемая как day-0, при этом README заявляет о снижении задержки между устройствами на 99%. - Автопараллелизм с учётом топологии: система выбирает, как разделить модель между доступными устройствами на основе ресурсов устройств и сетевой задержки/пропускной способности. - Тензорный параллелизм, при этом README утверждает ускорение до 1,8 раза на 2 устройствах и 3,2 раза на 4 устройствах. - MLX как бэкенд инференса, с MLX distributed для связи. - Совместимость API с OpenAI Chat Completions, Claude Messages, OpenAI Responses и API Ollama. - Загрузка пользовательских моделей из хаба HuggingFace. - Встроенная панель управления для управления кластером и общения с моделями, доступная по адресу http://localhost:52415. Пути установки, описанные в README, включают запуск из исходников на macOS и Linux, команду Nix flake и приложение macOS, распространяемое в виде DMG или через Homebrew cask. На macOS проект использует GPU; на Linux в настоящее время он работает на CPU, при этом поддержка GPU отмечена как находящаяся в разработке. В README также документированы переменные среды для каталогов моделей, автономного режима, моделей изображений, изоляции пространства имён кластера и трассировки, а также инструмент бенчмаркинга под названием exo-bench. Изображения бенчмарков в README приписаны Джеффу Гирлингу и показывают Qwen3-235B, DeepSeek v3.1 671B и Kimi K2 Thinking, работающие на четырёх машинах M3 Ultra Mac Studio с тензорным параллелизмом RDMA. Это сторонние измерения, а не независимая проверка этим каталогом. Лицензия — Apache-2.0. Проект предоставляет сообщество Discord и аккаунт X для обновлений.