منصوبے کے بارے میں

mlx-serve ایک مقامی سرور ہے جو Apple Silicon Macs پر بڑے لینگویج ماڈلز کو مقامی طور پر چلانے کے لیے ڈیزائن کیا گیا ہے۔ یہ Zig زبان میں لکھا گیا ہے اور رن ٹائم پر Python کی ضرورت نہیں پڑتی، یہ ایک چھوٹی بائنری کے طور پر فراہم ہوتا ہے جس کے ساتھ ایک اختیاری دستخط شدہ macOS مینو بار ایپ بھی شامل ہے جسے MLX Core کہتے ہیں۔ ماڈل سپورٹ میں مقامی MLX آرکیٹیکچرز (Gemma، Qwen، Llama، Mistral، DeepSeek، Hunyuan اور دیگر) کے ساتھ ساتھ ایمبیڈڈ llama.cpp کے ذریعے GGUF ایکو سسٹم بھی شامل ہے، جسے فارمیٹ کی بنیاد پر خودکار طور پر روٹ کیا جاتا ہے۔ ماڈلز کو Hugging Face سے مختصر نام، org/repo ID، یا name:tag کے ذریعے حاصل کیا جا سکتا ہے، اور نام کی بنیاد پر ڈیمانڈ پر لوڈ کیے جاتے ہیں۔ API کی طرف، سرور ایک ہی پورٹ پر کئی مطابقت پذیر سطحیں پیش کرتا ہے: OpenAI chat/completions اور Responses (بشمول WebSocket ٹرانسپورٹ)، Anthropic Messages، اور Ollama API۔ اس کا مطلب ہے کہ موجودہ کلائنٹس اور کوڈنگ ایجنٹس جو ان میں سے کسی بھی پروٹوکول کو استعمال کرتے ہیں، بغیر کسی تبدیلی کے مقامی اینڈ پوائنٹ کی طرف اشارہ کر سکتے ہیں۔ اسٹریمنگ، اسکیما سے چلنے والی مرمت کے ساتھ ٹول کالنگ، JSON-اسکیما محدود ڈی کوڈنگ، logprobs، ویژن ان پٹ اور استدلال کا مواد شامل کردہ سرونگ فیچرز میں شامل ہیں۔ متن کے علاوہ، یہی سرور تصویر، ویڈیو، آڈیو/اسپیچ (وائس کلوننگ کے ساتھ)، موسیقی اور 3D ماڈل جنریشن کے لیے اینڈ پوائنٹس بھی پیش کرتا ہے، جس میں ہر موڈیلیٹی کے لیے کئی ماڈل آپشنز اور تخمینی میموری کی ضروریات درج ہیں۔ ایک بلٹ ان ویب کنسول چیٹ پلے گراؤنڈ، مانیٹرنگ اور میڈیا ٹولز فراہم کرتا ہے۔ MLX Core ایپ میں ملٹی سیشن چیٹ، بلٹ ان ٹولز اور MCP سپورٹ کے ساتھ ایجنٹ موڈ، ایجنٹ شیل کمانڈز کے لیے ایک الگ تھلگ Linux VM سینڈ باکس، دوبارہ شروع ہونے والے ڈاؤن لوڈز کے ساتھ ماڈل براؤزر، وائس موڈ، شیڈولڈ ٹاسکس، Macs کے درمیان LAN ماڈل شیئرنگ، اور سرور فلیگز کے لیے ایک سیٹنگز ونڈو شامل ہے۔ README میں اسپیکولیٹو ڈی کوڈنگ کی مختلف اقسام، KV-کیش کوانٹائزیشن، مسلسل بیچنگ اور کیشنگ کے بارے میں بھی دستاویزات موجود ہیں، اور بینچ مارک اور کارکردگی کی دستاویزات کے لنکس بھی دیے گئے ہیں۔ انسٹالیشن Homebrew casks کے ذریعے یا Xcode اور Metal ٹول چین کے ساتھ سورس سے تعمیر کرکے دستیاب ہے۔ یہ پروجیکٹ MIT لائسنس کے تحت ہے اور تھرڈ پارٹی اجزاء کو ان کے اپنے لائسنس کے تحت شامل کرتا ہے، جن کی انتساب NOTICE فائل میں درج ہیں۔