troy

Troy는 Apple Silicon 하드웨어에서 직접 대규모 언어 모델(LLM)을 파인튜닝 및 선호도 튜닝하는 과정을 단순화하기 위해 설계된 명령줄 인터페이스입니다. MLX와 mlx-lm을 기반으로 구축되어 Mac의 통합 메모리 아키텍처를 활용하여, 다른 환경에서는 일반적으로 워크스테이션급 GPU가 필요한 로컬 학습을 가능하게 합니다. 주요 기능은 다음과 같습니다: - **단순화된 워크플로**: 사용자는 단일 YAML 파일로 학습 작업을 구성하고 `troy train`과 같은 명령을 실행하여 프로세스를 시작할 수 있습니다. - **로컬 실행**: 클라우드 서비스나 CUDA 호환 GPU가 필요하지 않으며, M1/M2/M3 Mac에서 네이티브로 실행됩니다. - **모델 지원**: Llama, Qwen, Gemma, Phi, Mistral을 포함하여 mlx-lm이 지원하는 다양한 아키텍처와 호환됩니다. 선택적 비전 종속성을 설치하면 비전-언어 모델도 지원합니다. - **포괄적인 도구 세트**: 학습 외에도 Troy는 시스템 호환성 확인(`troy doctor`), 학습된 모델과의 대화(`troy chat`), 성능 평가(`troy eval`), OpenAI 호환 API 제공(`troy serve`), 다른 도구용 GGUF 형식으로 내보내기, Hugging Face Hub에 결과 푸시를 위한 유틸리티를 제공합니다. - **유연한 학습 모드**: 지도 파인튜닝(SFT), 직접 선호도 최적화(DPO), ORPO를 지원합니다. 이 도구는 표준 MacBook 하드웨어를 가진 개발자와 연구자가 고급 모델 사용자 정의에 접근할 수 있도록 하는 것을 목표로 하며, 장치의 성능에 따라 메모리 관리를 자동으로 처리합니다.