cua

Cua es un proyecto de código abierto que pretende dar a los agentes de IA computadoras que puedan operar. Reúne varios componentes en un solo repositorio, abarcando automatización de escritorio, entornos aislados, máquinas virtuales, modelos especializados y herramientas de evaluación. El proyecto describe su alcance como "Computer-Use 2.0", es decir, un agente que puede moverse entre código, API e interfaces gráficas dentro de una misma tarea. Componentes principales: - Cua Driver: herramientas para inspeccionar y operar aplicaciones nativas de escritorio y navegadores en macOS, Windows y Linux. Se puede acceder a través de una CLI, MCP o SDK tipados. Se ofrece entrega en segundo plano para que los agentes puedan actuar sin mover el puntero ni robar el foco, donde la aplicación y la plataforma lo permitan. Se proporcionan scripts de instalación para macOS/Linux (shell) y Windows (PowerShell). - Cua Fleets: escritorios en la nube aislados aprovisionados a través de run.cua.ai. Un fleet mantiene capacidad de sandbox, y el código reclama un escritorio de un pool y usa el Sandbox SDK para ejecutar comandos, capturar pantallas e interactuar con aplicaciones. Los sandboxes locales y los fleets comparten el SDK pero difieren en credenciales, imágenes, operaciones y requisitos de tiempo de ejecución. - Lume: creación y gestión de máquinas virtuales locales de macOS y Linux en Apple Silicon usando Virtualization.Framework de Apple, con una CLI y un script de instalación. - CUA-S1: una familia de pequeños modelos especializados "System 1" para decisiones acotadas de uso informático, como elegir un valor para un campo. El primer perfil de investigación se centra en formularios, puntuando decisiones a partir de elementos estructurados de la interfaz y valores de documentos en lugar de generar tokens. El repositorio contiene código de modelo en Python, generación de datos sintéticos, entrenamiento y evaluación; se describe como una versión de investigación temprana, solo con código fuente, con pesos alojados por separado en Hugging Face. - Cua Bench: herramientas para construir tareas de uso informático, evaluar agentes y exportar trayectorias para entrenamiento. Una tarea simulada se puede ejecutar sin una VM, Docker ni una clave de API de modelo, usando Python 3.12/3.13 y uv. El README apunta a documentación, tutoriales, un blog, Discord y GitHub Issues. Indica que el proyecto tiene licencia MIT, con componentes de terceros bajo sus propias licencias (por ejemplo Kasm, un paquete opcional cua-som con licencia AGPL y artefactos relacionados con OmniParser). Los avisos de marcas aclaran que no existe afiliación con Apple, Canonical ni Microsoft. Los metadatos de cita se proporcionan mediante BibTeX y CITATION.cff.