magnitude

Magnitude — это локальный движок вывода под лицензией Apache-2.0 для запуска моделей с открытыми весами и подключения их к агентским приложениям. Он поставляется как настольное приложение для macOS, Windows и Linux, причём приложение включает CLI magnitude без отдельной установки. Пользователи могут находить и загружать рекомендуемые модели, а затем подключать поддерживаемых агентов через экран Connections. Основной технический подход проекта — компиляция и настройка вычислительных ядер на самом устройстве перед запуском модели, а не опора только на ядра, собранные для широких классов оборудования. Он также включает вручную оптимизированные ядра для отдельных популярных семейств моделей с открытыми весами. В README приводятся результаты бенчмарков против llama.cpp: на 9% быстрее prefill и на 92% быстрее decode на Metal, а также на 23% быстрее prefill и на 19% быстрее decode на CUDA, что в сумме описывается как до 2 раз быстрее в целом. Среди других заявленных возможностей — меньшее потребление памяти на агента, освобождение памяти при остановке агентов и общие кэши префиксов для параллельных сессий. В список интеграций в один клик входят Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi и Cline. Другое программное обеспечение может использовать API, совместимый с OpenAI. Magnitude поддерживает Apple Silicon, GPU NVIDIA, GPU AMD и системы только с CPU. Согласно документации, промпты, файлы и модели остаются на локальной машине, и после загрузки модели интернет-соединение не требуется. Полный список поддерживаемых моделей ведётся на сайте проекта.