প্রকল্প সম্পর্কে

mlx-serve হলো অ্যাপল সিলিকন ম্যাকে স্থানীয়ভাবে বড় ভাষার মডেল চালানোর জন্য একটি নেটিভ সার্ভার। এটি জিগ-এ লেখা এবং রানটাইমে কোনো পাইথন প্রয়োজন হয় না; এটি একটি ছোট বাইনারি হিসেবে আসে, সাথে থাকে ঐচ্ছিক স্বাক্ষরিত ম্যাকওএস মেনু-বার অ্যাপ MLX Core। মডেল সাপোর্টে রয়েছে নেটিভ এমএলএক্স আর্কিটেকচার (Gemma, Qwen, Llama, Mistral, DeepSeek, Hunyuan এবং অন্যান্য) এবং এমবেডেড llama.cpp-এর মাধ্যমে বৃহত্তর জিজিইউএফ ইকোসিস্টেম, যা ফরম্যাট অনুযায়ী স্বয়ংক্রিয়ভাবে রাউট করা হয়। মডেলগুলো Hugging Face থেকে সংক্ষিপ্ত নাম, org/repo আইডি বা name:tag দিয়ে টানা যায় এবং নাম দিয়ে চাহিদা অনুযায়ী লোড করা হয়। এপিআই দিকে, সার্ভারটি একই পোর্টে কয়েকটি সামঞ্জস্যপূর্ণ সারফেস প্রকাশ করে: OpenAI chat/completions এবং Responses (একটি WebSocket ট্রান্সপোর্টসহ), Anthropic Messages, এবং Ollama API। এর মানে হলো এই প্রোটোকলগুলোর যেকোনোটি ব্যবহার করা বিদ্যমান ক্লায়েন্ট ও কোডিং এজেন্ট কোনো পরিবর্তন ছাড়াই স্থানীয় এন্ডপয়েন্টে নির্দেশ দিতে পারে। স্ট্রিমিং, স্কিমা-চালিত মেরামতসহ টুল কলিং, JSON-স্কিমা সীমাবদ্ধ ডিকোডিং, logprobs, ভিশন ইনপুট এবং রিজনিং কনটেন্ট সাপোর্টেড সার্ভিং ফিচারগুলোর মধ্যে রয়েছে। টেক্সটের বাইরে, একই সার্ভার ইমেজ, ভিডিও, অডিও/স্পিচ (ভয়েস ক্লোনিংসহ), মিউজিক এবং 3D মডেল জেনারেশনের জন্য এন্ডপয়েন্ট অফার করে, প্রতিটি মোডালিটির জন্য কয়েকটি মডেল অপশন এবং আনুমানিক মেমোরি প্রয়োজনীয়তা তালিকাভুক্ত। একটি বিল্ট-ইন ওয়েব কনসোল চ্যাট প্লেগ্রাউন্ড, মনিটরিং এবং মিডিয়া টুল সরবরাহ করে। MLX Core অ্যাপ যোগ করে মাল্টি-সেশন চ্যাট, বিল্ট-ইন টুল ও MCP সাপোর্টসহ একটি এজেন্ট মোড, এজেন্ট শেল কমান্ডের জন্য একটি বিচ্ছিন্ন লিনাক্স ভিএম স্যান্ডবক্স, রিজিউমেবল ডাউনলোডসহ একটি মডেল ব্রাউজার, ভয়েস মোড, শিডিউলড টাস্ক, ম্যাকগুলোর মধ্যে LAN মডেল শেয়ারিং, এবং সার্ভার ফ্ল্যাগের জন্য একটি সেটিংস উইন্ডো। README-তে স্পেকুলেটিভ ডিকোডিং ভ্যারিয়েন্ট, KV-ক্যাশ কোয়ান্টাইজেশন, কন্টিনিউয়াস ব্যাচিং ও ক্যাশিং এবং বেঞ্চমার্ক ও পারফরম্যান্স ডকুমেন্টেশনের লিংকও নথিভুক্ত করা হয়েছে। ইনস্টলেশন Homebrew cask-এর মাধ্যমে বা Xcode ও Metal টুলচেইন দিয়ে সোর্স থেকে বিল্ড করে পাওয়া যায়। প্রকল্পটি MIT লাইসেন্সের অধীনে এবং তৃতীয় পক্ষের কম্পোনেন্টগুলো তাদের নিজস্ব লাইসেন্সের অধীনে বান্ডল করে, অ্যাট্রিবিউশন একটি NOTICE ফাইলে তালিকাভুক্ত।