প্রকল্প সম্পর্কে

Troy হলো একটি কমান্ড-লাইন ইন্টারফেস, যা Apple Silicon হার্ডওয়্যারে সরাসরি বড় ভাষা মডেল (LLM) ফাইন-টিউনিং এবং প্রেফারেন্স-টিউনিংয়ের প্রক্রিয়া সহজ করার জন্য ডিজাইন করা হয়েছে। এটি MLX এবং mlx-lm-এর উপর নির্মিত, এবং Mac-এর ইউনিফায়েড মেমরি আর্কিটেকচার কাজে লাগিয়ে লোকাল ট্রেনিং সক্ষম করে, যা সাধারণত অন্যত্র ওয়ার্কস্টেশন-গ্রেড GPU ছাড়া সম্ভব নয়। প্রধান বৈশিষ্ট্যগুলোর মধ্যে রয়েছে: - **সরলীকৃত ওয়ার্কফ্লো**: ব্যবহারকারীরা একটি একক YAML ফাইল দিয়ে ট্রেনিং টাস্ক কনফিগার করতে পারেন এবং `troy train`-এর মতো কমান্ড চালিয়ে প্রক্রিয়া শুরু করতে পারেন। - **লোকাল এক্সিকিউশন**: ক্লাউড সার্ভিস বা CUDA-সামঞ্জস্যপূর্ণ GPU-এর প্রয়োজন নেই; এটি M1/M2/M3 Mac-এ নেটিভভাবে চলে। - **মডেল সাপোর্ট**: mlx-lm দ্বারা সমর্থিত বিভিন্ন আর্কিটেকচারের সাথে সামঞ্জস্যপূর্ণ, যার মধ্যে Llama, Qwen, Gemma, Phi, এবং Mistral অন্তর্ভুক্ত। ঐচ্ছিক ভিশন ডিপেন্ডেন্সিসহ ইনস্টল করলে এটি ভিশন-ল্যাঙ্গুয়েজ মডেলও সমর্থন করে। - **সম্পূর্ণ টুলসেট**: ট্রেনিংয়ের বাইরেও Troy সিস্টেম সামঞ্জস্যতা পরীক্ষা (`troy doctor`), ট্রেইন করা মডেলের সাথে চ্যাট (`troy chat`), পারফরম্যান্স মূল্যায়ন (`troy eval`), OpenAI-সামঞ্জস্যপূর্ণ API সার্ভ (`troy serve`), অন্য টুলের জন্য GGUF ফরম্যাটে এক্সপোর্ট, এবং ফলাফল Hugging Face Hub-এ পুশ করার ইউটিলিটি প্রদান করে। - **নমনীয় ট্রেনিং মোড**: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), এবং ORPO সমর্থন করে। এই টুলটির লক্ষ্য হলো সাধারণ MacBook হার্ডওয়্যার ব্যবহারকারী ডেভেলপার ও গবেষকদের জন্য উন্নত মডেল কাস্টমাইজেশন সহজলভ্য করা, এবং ডিভাইসের সক্ষমতার ভিত্তিতে স্বয়ংক্রিয়ভাবে মেমরি ম্যানেজমেন্ট পরিচালনা করা।