Об этом проекте

TARS — это открытый мультимодальный стек ИИ-агентов, который в настоящее время включает два связанных проекта: Agent TARS и UI-TARS Desktop. Оба распространяются под лицензией Apache 2.0 и разработаны ByteDance. Agent TARS описывается как общий мультимодальный стек ИИ-агентов, который привносит возможности GUI-агента и компьютерного зрения в терминал, компьютер, браузер и продукт. Он поставляется в основном как CLI и веб-интерфейс. Согласно README, его цель — обеспечить рабочий процесс, более близкий к выполнению задач человеком, с помощью мультимодальных LLM и интеграции с реальными MCP-инструментами. Заявленные основные возможности включают: CLI с одним щелчком из коробки, поддерживающий как полноэкранный веб-интерфейс, так и выполнение на сервере без графического интерфейса; гибридный браузерный агент, который может управлять браузерами через GUI-агента, DOM или гибридную стратегию; управляемый протоколом Event Stream для инженерии контекста и интерфейса агента; и ядро на основе MCP, поддерживающее подключение MCP-серверов для связи с внешними инструментами. Примеры установки используют npx или глобальную установку npm (Node.js >= 22), и его можно запускать с различными поставщиками моделей, такими как Volcengine или Anthropic, указывая провайдера, модель и API-ключ. В примечаниях к выпуску v0.3.0 упоминаются потоковая поддержка нескольких инструментов, настройки времени выполнения со статистикой времени, просмотрщик Event Stream и поддержка AIO-песочницы агента как изолированной среды выполнения. UI-TARS Desktop — это настольное приложение, предоставляющее нативного GUI-агента для локального компьютера, работающее на основе модели UI-TARS и серии моделей Seed-1.5-VL/1.6. Оно предлагает операторов для локального и удаленного компьютера, а также операторов браузера. В перечисленных возможностях: управление на естественном языке на основе зрительно-языковой модели, поддержка скриншотов и визуального распознавания, точное управление мышью и клавиатурой, кроссплатформенная поддержка (Windows/macOS/браузер), обратная связь и отображение статуса в реальном времени, а также полностью локальная обработка для конфиденциальности. В README есть ссылки на статью (arXiv 2501.12326), модели Hugging Face, ModelScope и Discord-сообщество. В README также упоминается UI TARS SDK как кроссплатформенный набор инструментов для создания GUI-агентов автоматизации, а также документация, охватывающая быстрый старт, развертывание и интеграцию с MCP. Примеры использования включают бронирование авиабилетов или отелей, создание диаграмм и настройку параметров приложений с помощью инструкций на естественном языке.