这个项目能做什么
Rapid-MLX 是专为 Apple Silicon(M1-M4)设计的高性能本地 AI 引擎。它可直接替代 OpenAI 和 Anthropic API,使 Claude Code、Cursor、Aider 和 LangChain 等现有客户端无需适配器即可连接。主要特性包括:
- **性能**:借助原生 MLX 内核、连续批处理、提示缓存和量化 KV 缓存,宣称吞吐量最高可达 Ollama 的 3 倍。
- **API 兼容性**:支持 `/v1/chat/completions`、`/v1/responses`、`/v1/messages`、`/v1/embeddings`、`/v1/audio/*`、`/v1/videos` 和 `/v1/images/*`。
- **模型支持**:文本、视觉、音频(TTS/STT/声音克隆)、视频生成、图像生成和嵌入。包含模型目录,提供不同规模和内存需求的别名。
- **Agent 集成**:与 12 个 agent CLI(如 Claude Code、Codex CLI、Aider)和 3 个 Python 框架(LangChain、PydanticAI、smolagents)经过实际连接验证的兼容性。一级 agent 在每次发布前都会在真实权重上进行端到端重新验证。
- **安装**:可通过 Homebrew、pip 或引导式安装程序获取。提供 macOS 桌面应用。
- **使用场景**:终端聊天、面向应用的 OpenAI 兼容服务器、agent 后端和基准测试。
- **扩展**:可选包,提供图像、视频、音频和 system-one(类型化决策)能力。
Rapid-MLX 定位为 Apple 硬件上开发者和 AI 爱好者的快速本地替代方案,强调性能、兼容性和易用性。
评论
0 人表达喜爱 · 满10人后显示 Deer Point
登录后参与讨论。