Об этом проекте

Rapid-MLX — это высокопроизводительный локальный ИИ-движок, разработанный специально для Apple Silicon (M1-M4). Он обеспечивает замену API OpenAI и Anthropic без изменения кода, позволяя существующим клиентам, таким как Claude Code, Cursor, Aider и LangChain, подключаться без адаптеров. Ключевые особенности: - **Производительность**: заявленная пропускная способность до 3 раз выше, чем у Ollama, благодаря нативным ядрам MLX, непрерывному батчингу, кэшированию промптов и квантованному KV-кэшу. - **Совместимость с API**: поддерживает `/v1/chat/completions`, `/v1/responses`, `/v1/messages`, `/v1/embeddings`, `/v1/audio/*`, `/v1/videos` и `/v1/images/*`. - **Поддержка моделей**: текст, зрение, аудио (TTS/STT/клонирование голоса), генерация видео, генерация изображений и эмбеддинги. Включает каталог моделей с псевдонимами для различных размеров и требований к памяти. - **Интеграция с агентами**: проверенная совместимость с 12 CLI-агентами (например, Claude Code, Codex CLI, Aider) и 3 Python-фреймворками (LangChain, PydanticAI, smolagents). Агенты Tier-1 повторно проверяются end-to-end на реальных весах перед каждым релизом. - **Установка**: доступна через Homebrew, pip или управляемый установщик. Настольное приложение для macOS. - **Сценарии использования**: чат в терминале, сервер, совместимый с OpenAI, для приложений, бэкенды агентов и бенчмаркинг. - **Дополнительно**: опциональные пакеты для возможностей работы с изображениями, видео, аудио и system-one (типизированные решения). Rapid-MLX позиционируется как быстрая локальная альтернатива для разработчиков и энтузиастов ИИ на оборудовании Apple, с акцентом на производительность, совместимость и простоту использования.