منصوبے کے بارے میں

Troy ایک command-line interface ہے جو Apple Silicon ہارڈویئر پر براہ راست large language models (LLMs) کی fine-tuning اور preference-tuning کے عمل کو آسان بنانے کے لیے ڈیزائن کیا گیا ہے۔ یہ MLX اور mlx-lm پر بنایا گیا ہے اور Macs کی unified memory architecture سے فائدہ اٹھاتا ہے تاکہ مقامی training ممکن ہو سکے، جو عام طور پر دوسری جگہوں پر workstation-grade GPUs کی ضرورت ہوتی ہے۔ اہم خصوصیات میں شامل ہیں: - **آسان ورک فلو**: صارفین ایک ہی YAML فائل کے ذریعے training کے کام configure کر سکتے ہیں اور `troy train` جیسے commands چلا کر عمل شروع کر سکتے ہیں۔ - **مقامی execution**: cloud services یا CUDA-compatible GPUs کی ضرورت نہیں؛ یہ M1/M2/M3 Macs پر native طور پر چلتا ہے۔ - **Model Support**: mlx-lm کے تعاون یافتہ مختلف architectures کے ساتھ compatible، بشمول Llama، Qwen، Gemma، Phi، اور Mistral۔ یہ vision-language models کو بھی سپورٹ کرتا ہے جب optional vision dependencies کے ساتھ install کیا جائے۔ - **جامع Toolset**: training کے علاوہ، Troy system compatibility چیک کرنے (`troy doctor`)، trained models کے ساتھ chat کرنے (`troy chat`)، performance evaluate کرنے (`troy eval`)، OpenAI-compatible API serve کرنے (`troy serve`)، دوسرے tools کے لیے GGUF format میں export کرنے، اور نتائج Hugging Face Hub پر push کرنے کی utilities فراہم کرتا ہے۔ - **لچکدار Training Modes**: Supervised Fine-Tuning (SFT)، Direct Preference Optimization (DPO)، اور ORPO کو سپورٹ کرتا ہے۔ یہ tool advanced model customization کو developers اور researchers کے لیے معیاری MacBook ہارڈویئر کے ساتھ قابل رسائی بنانے کا مقصد رکھتا ہے، اور device کی صلاحیتوں کی بنیاد پر memory management خودکار طور پر سنبھالتا ہے۔