প্রকল্প সম্পর্কে

Rapid-MLX হলো Apple Silicon (M1-M4)-এর জন্য বিশেষভাবে ডিজাইন করা একটি উচ্চ-কর্মক্ষমতা সম্পন্ন AI ইঞ্জিন। এটি OpenAI এবং Anthropic API-এর ড্রপ-ইন প্রতিস্থাপন প্রদান করে, যার ফলে Clash, Cursor, Aider এবং LangChain-এর মতো বিদ্যমান ক্লায়েন্টরা অ্যাডাপ্টার ছাড়াই সংযুক্ত হতে পারে। প্রধান বৈশিষ্ট্যগুলোর মধ্যে রয়েছে: - **কর্মক্ষমতা**: নেটিভ MLX কার্নেল, ক্রমাগত ব্যাচিং, প্রম্পট ক্যাশিং এবং কোয়ান্টাইজড KV ক্যাশের মাধ্যমে Ollama-এর তুলনায় ৩ গুণ পর্যন্ত থ্রুপুট দাবি করে। - **API সামঞ্জস্য**: `/v1/chat/completions`, `/v1/responses`, `/v1/messages`, `/v1/embeddings`, `/v1/audio/*`, `/v1/videos` এবং `/v1/images/*` সমর্থন করে। - **মডেল সমর্থন**: টেক্সট, ভিশন, অডিও (TTS/STT/ভয়েস ক্লোনিং), ভিডিও জেনারেশন, ইমেজ জেনারেশন এবং এমবেডিং। বিভিন্ন আকার ও মেমোরি প্রয়োজনীয়তার জন্য উপনামসহ একটি মডেল ক্যাটালগ অন্তর্ভুক্ত। - **এজেন্ট ইন্টিগ্রেশন**: ১২টি এজেন্ট CLI (যেমন Claude Code, Codex CLI, Aider) এবং ৩টি Python ফ্রেমওয়ার্ক (LangChain, PydanticAI, smolagents)-এর সাথে ওয়্যার-ভেরিফাইড সামঞ্জস্য। প্রতিটি রিলিজের আগে Tier-1 এজেন্টগুলো প্রকৃত ওয়েটে এন্ড-টু-এন্ড পুনরায় যাচাই করা হয়। - **ইনস্টলেশন**: Homebrew, pip বা একটি গাইডেড ইনস্টলারের মাধ্যমে উপলব্ধ। macOS-এর জন্য ডেস্কটপ অ্যাপ। - **ব্যবহারের ক্ষেত্র**: টার্মিনাল চ্যাট, অ্যাপের জন্য OpenAI-সামঞ্জস্যপূর্ণ সার্ভার, এজেন্ট ব্যাকএন্ড এবং বেঞ্চমার্কিং। - **অতিরিক্ত**: ইমেজ, ভিডিও, অডিও এবং সিস্টেম-ওয়ান (টাইপড ডিসিশন) সক্ষমতার জন্য ঐচ্ছিক প্যাকেজ। Rapid-MLX Apple হার্ডওয়্যারে ডেভেলপার এবং AI উৎসাহীদের জন্য একটি দ্রুত, স্থানীয় বিকল্প হিসেবে অবস্থান করছে, যা কর্মক্ষমতা, সামঞ্জস্য এবং ব্যবহারের সহজতার উপর জোর দেয়।