autoresearch

autoresearch — это автономный исследовательский фреймворк ИИ, созданный Андреем Карпати, который позволяет ИИ-агентам самостоятельно проводить эксперименты по обучению LLM на одной GPU. Система построена вокруг упрощенной одногпушечной реализации nanochat, где ИИ-агент автономно изменяет код обучения (train.py), запускает эксперименты с фиксированным бюджетом времени 5 минут, оценивает результаты с использованием валидационных битов на байт (val_bpb) и итеративно действует, сохраняя улучшения и отбрасывая регрессии. Проект намеренно минималистичен и состоит из трех ключевых файлов: prepare.py (фиксированная подготовка данных и утилиты, не изменяется), train.py (единственный файл, который редактирует агент, содержащий полную модель GPT, оптимизатор и цикл обучения) и program.md (базовые инструкции для агента, редактируемые человеком). Роль человека смещается с написания кода на Python к программированию Markdown-файлов program.md, определяющих автономную исследовательскую организацию. Стандартный program.md намеренно оставлен как минимальный базовый вариант, хотя очевидно, как со временем его итерировать, чтобы найти «код исследовательской организации», обеспечивающий самый быстрый прогресс, или добавить больше агентов. Обучение длится ровно 5 минут независимо от вычислительных деталей, что позволяет проводить примерно 12 экспериментов в час и около 100 экспериментов за ночь. Этот фиксированный бюджет времени делает эксперименты напрямую сравнимыми независимо от изменений агента (размер модели, размер пакета, архитектура и т.д.) и гарантирует, что система находит оптимальную модель для данной платформы в рамках этого ограничения. Метрика val_bpb не зависит от размера словаря, что позволяет проводить справедливое сравнение при архитектурных изменениях. Требования включают одну NVIDIA GPU (протестировано на H100), Python 3.10+ и uv. Проект самодостаточен, без внешних зависимостей, кроме PyTorch и нескольких небольших пакетов — без распределенного обучения или сложных конфигураций. Существуют известные форки для macOS, Windows и платформ AMD. Проект лицензирован под MIT.