这个项目能做什么

Rapid-MLX 是专为 Apple Silicon(M1-M4)设计的高性能本地 AI 引擎。它可直接替代 OpenAI 和 Anthropic API,使 Claude Code、Cursor、Aider 和 LangChain 等现有客户端无需适配器即可连接。主要特性包括: - **性能**:借助原生 MLX 内核、连续批处理、提示缓存和量化 KV 缓存,宣称吞吐量最高可达 Ollama 的 3 倍。 - **API 兼容性**:支持 `/v1/chat/completions`、`/v1/responses`、`/v1/messages`、`/v1/embeddings`、`/v1/audio/*`、`/v1/videos` 和 `/v1/images/*`。 - **模型支持**:文本、视觉、音频(TTS/STT/声音克隆)、视频生成、图像生成和嵌入。包含模型目录,提供不同规模和内存需求的别名。 - **Agent 集成**:与 12 个 agent CLI(如 Claude Code、Codex CLI、Aider)和 3 个 Python 框架(LangChain、PydanticAI、smolagents)经过实际连接验证的兼容性。一级 agent 在每次发布前都会在真实权重上进行端到端重新验证。 - **安装**:可通过 Homebrew、pip 或引导式安装程序获取。提供 macOS 桌面应用。 - **使用场景**:终端聊天、面向应用的 OpenAI 兼容服务器、agent 后端和基准测试。 - **扩展**:可选包,提供图像、视频、音频和 system-one(类型化决策)能力。 Rapid-MLX 定位为 Apple 硬件上开发者和 AI 爱好者的快速本地替代方案,强调性能、兼容性和易用性。