autoresearch

autoresearchは、Andrej Karpathy氏が作成した自律型AI研究フレームワークで、AIエージェントが単一GPU上でLLMトレーニングを独立して実験できるようにするものです。このシステムは、nanochatの簡素化された単一GPU実装を基盤としており、AIエージェントがトレーニングコード（train.py）を自律的に変更し、固定5分のウォールクロック予算で実験を実行し、検証バイトあたりのビット数（val_bpb）を使用して結果を評価し、改善を維持して回帰を破棄しながら反復処理を行います。 このプロジェクトは意図的に最小限に設計されており、3つの主要ファイルで構成されています：prepare.py（固定されたデータ準備とユーティリティ、変更不可）、train.py（エージェントが編集する唯一のファイルで、完全なGPTモデル、オプティマイザ、トレーニングループを含む）、program.md（エージェントのベースライン指示、人間が編集）。人間の役割は、Pythonコードを書くことから、自律研究組織を定義するprogram.mdマークダウンファイルをプログラミングすることへと移行します。デフォルトのprogram.mdは意図的に最小限のベースラインとして維持されていますが、時間をかけて反復し、最速の研究進捗を達成する「研究組織コード」を見つけたり、エージェントを追加したりする方法は明らかです。 トレーニングは計算の詳細に関係なく正確に5分間実行され、1時間あたり約12回の実験、夜通しで約100回の実験が可能です。この固定時間予算により、エージェントが何を変更しても（モデルサイズ、バッチサイズ、アーキテクチャなど）、実験を直接比較でき、その制約内でプラットフォームに最適なモデルをシステムが見つけることを保証します。メトリックval_bpbは語彙サイズに依存しないため、アーキテクチャ変更間の公平な比較が可能です。 要件には、単一のNVIDIA GPU（H100でテスト済み）、Python 3.10以上、uvが含まれます。このプロジェクトは自己完結型で、PyTorchといくつかの小さなパッケージ以外の外部依存関係はなく、分散トレーニングや複雑な構成はありません。macOS、Windows、AMDプラットフォーム向けの注目すべきフォークが存在します。プロジェクトはMITライセンスの下で提供されています。