cua

Cua — это открытый проект, цель которого — дать ИИ-агентам компьютеры, которыми они могут управлять. Он объединяет несколько компонентов в одном репозитории, охватывая автоматизацию рабочего стола, изолированные среды, виртуальные машины, специализированные модели и инструменты оценки. Проект описывает свою область как «Computer-Use 2.0», то есть агент, который может переключаться между кодом, API и графическими интерфейсами в рамках одной задачи. Основные компоненты: - Cua Driver: инструменты для инспектирования и управления нативными настольными приложениями и браузерами на macOS, Windows и Linux. Доступ к нему возможен через CLI, MCP или типизированные SDK. Предлагается фоновая доставка, чтобы агенты могли действовать, не перемещая указатель и не перехватывая фокус, там, где это позволяют приложение и платформа. Предоставлены установочные скрипты для macOS/Linux (shell) и Windows (PowerShell). - Cua Fleets: изолированные облачные рабочие столы, предоставляемые через run.cua.ai. Флот поддерживает ёмкость песочниц, а код получает рабочий стол из пула и использует Sandbox SDK для выполнения команд, захвата скриншотов и взаимодействия с приложениями. Локальные песочницы и флоты используют общий SDK, но различаются по учётным данным, образам, операциям и требованиям к среде выполнения. - Lume: создание и управление локальными виртуальными машинами macOS и Linux на Apple Silicon с использованием Apple Virtualization.Framework, с CLI и установочным скриптом. - CUA-S1: семейство небольших специализированных моделей «System 1» для ограниченных решений при компьютерном использовании, например выбора значения для поля. Первый исследовательский профиль ориентирован на формы, оценивая решения по структурированным элементам интерфейса и значениям документов, а не генерируя токены. Репозиторий содержит код модели на Python, генерацию синтетических данных, обучение и оценку; он описан как ранний исследовательский релиз только с исходным кодом, а веса размещены отдельно на Hugging Face. - Cua Bench: инструменты для создания задач компьютерного использования, оценки агентов и экспорта траекторий для обучения. Смоделированную задачу можно запустить без виртуальной машины, Docker или API-ключа модели, используя Python 3.12/3.13 и uv. README ссылается на документацию, руководства, блог, Discord и GitHub Issues. В нём указано, что проект распространяется по лицензии MIT, а сторонние компоненты — по своим собственным лицензиям (например, Kasm, необязательный пакет cua-som под лицензией AGPL и артефакты, связанные с OmniParser). Уведомления о товарных знаках уточняют отсутствие affiliation с Apple, Canonical или Microsoft. Метаданные цитирования предоставлены через BibTeX и CITATION.cff.