troy

Troyは、Apple Siliconハードウェア上で大規模言語モデル（LLM）のファインチューニングと選好チューニングのプロセスを簡素化するために設計されたコマンドラインインターフェースです。MLXとmlx-lmの上に構築されており、Macのユニファイドメモリアーキテクチャを活用して、通常はワークステーション級のGPUが必要となるローカルトレーニングを可能にします。 主な機能は以下の通りです： - **簡素化されたワークフロー**：ユーザーは単一のYAMLファイルでトレーニングタスクを設定し、`troy train`のようなコマンドを実行してプロセスを開始できます。 - **ローカル実行**：クラウドサービスやCUDA対応GPUは不要で、M1/M2/M3 Mac上でネイティブに動作します。 - **モデルサポート**：Llama、Qwen、Gemma、Phi、Mistralなど、mlx-lmがサポートするさまざまなアーキテクチャと互換性があります。オプションのvision依存関係をインストールすると、視覚言語モデルもサポートします。 - **包括的なツールセット**：トレーニング以外にも、Troyはシステム互換性の確認（`troy doctor`）、トレーニング済みモデルとのチャット（`troy chat`）、パフォーマンスの評価（`troy eval`）、OpenAI互換APIの提供（`troy serve`）、他のツール用のGGUF形式へのエクスポート、Hugging Face Hubへの結果のプッシュなどのユーティリティを提供します。 - **柔軟なトレーニングモード**：教師ありファインチューニング（SFT）、直接選好最適化（DPO）、ORPOをサポートします。 このツールは、標準的なMacBookハードウェアを持つ開発者や研究者が高度なモデルカスタマイズにアクセスできるようにすることを目的としており、デバイスの能力に基づいてメモリ管理を自動的に処理します。