इस प्रोजेक्ट के बारे में

Rapid-MLX एक उच्च-प्रदर्शन वाला स्थानीय AI इंजन है, जिसे विशेष रूप से Apple Silicon (M1-M4) के लिए डिज़ाइन किया गया है। यह OpenAI और Anthropic APIs के लिए एक ड्रॉप-इन प्रतिस्थापन प्रदान करता है, जिससे मौजूदा क्लाइंट जैसे Claude Code, Cursor, Aider और LangChain बिना एडेप्टर के कनेक्ट हो सकते हैं। मुख्य विशेषताएं शामिल हैं: - **प्रदर्शन**: दावा है कि यह Ollama के थ्रूपुट से 3 गुना तक तेज़ है, जिसमें नेटिव MLX कर्नेल, निरंतर बैचिंग, प्रॉम्प्ट कैशिंग और क्वांटाइज़्ड KV कैश शामिल हैं। - **API संगतता**: `/v1/chat/completions`, `/v1/responses`, `/v1/messages`, `/v1/embeddings`, `/v1/audio/*`, `/v1/videos`, और `/v1/images/*` का समर्थन करता है। - **मॉडल समर्थन**: टेक्स्ट, विज़न, ऑडियो (TTS/STT/वॉयस क्लोनिंग), वीडियो जनरेशन, इमेज जनरेशन और एम्बेडिंग। विभिन्न आकारों और मेमोरी आवश्यकताओं के लिए उपनामों के साथ एक मॉडल कैटलॉग शामिल है। - **एजेंट एकीकरण**: 12 एजेंट CLI (जैसे, Claude Code, Codex CLI, Aider) और 3 Python फ्रेमवर्क (LangChain, PydanticAI, smolagents) के साथ वायर-सत्यापित संगतता। टियर-1 एजेंटों को प्रत्येक रिलीज़ से पहले वास्तविक वेट पर एंड-टू-एंड पुनः सत्यापित किया जाता है। - **स्थापना**: Homebrew, pip, या एक गाइडेड इंस्टॉलर के माध्यम से उपलब्ध। macOS के लिए डेस्कटॉप ऐप। - **उपयोग के मामले**: टर्मिनल चैट, ऐप्स के लिए OpenAI-संगत सर्वर, एजेंट बैकएंड और बेंचमार्किंग। - **अतिरिक्त**: इमेज, वीडियो, ऑडियो और सिस्टम-वन (टाइप किए गए निर्णय) क्षमताओं के लिए वैकल्पिक पैकेज। Rapid-MLX को Apple हार्डवेयर पर डेवलपर्स और AI उत्साही लोगों के लिए एक तेज़, स्थानीय विकल्प के रूप में स्थापित किया गया है, जो प्रदर्शन, संगतता और उपयोग में आसानी पर जोर देता है।