cua

Cua é um projeto de código aberto que pretende dar aos agentes de IA computadores que possam operar. Reúne vários componentes num único repositório, abrangendo automação de desktop, ambientes isolados, máquinas virtuais, modelos especialistas e ferramentas de avaliação. O projeto descreve o seu âmbito como "Computer-Use 2.0", ou seja, um agente que consegue alternar entre código, APIs e interfaces gráficas dentro de uma única tarefa. Componentes principais: - Cua Driver: ferramentas para inspecionar e operar aplicações nativas de desktop e navegadores em macOS, Windows e Linux. Pode ser acedido através de uma CLI, MCP ou SDKs tipados. É oferecida entrega em segundo plano para que os agentes possam agir sem mover o ponteiro ou roubar o foco, onde a aplicação e a plataforma o permitam. São fornecidos scripts de instalação para macOS/Linux (shell) e Windows (PowerShell). - Cua Fleets: desktops em nuvem isolados provisionados através de run.cua.ai. Uma fleet mantém capacidade de sandbox, e o código reivindica um desktop de um pool e usa o Sandbox SDK para executar comandos, capturar ecrãs e interagir com aplicações. Sandboxes locais e fleets partilham o SDK mas diferem em credenciais, imagens, operações e requisitos de runtime. - Lume: criação e gestão de VMs locais macOS e Linux em Apple Silicon usando o Virtualization.Framework da Apple, com uma CLI e um script de instalação. - CUA-S1: uma família de pequenos modelos especializados "System 1" para decisões limitadas de uso de computador, como escolher um valor para um campo. O primeiro perfil de investigação foca-se em formulários, pontuando decisões a partir de elementos de interface estruturados e valores de documentos em vez de gerar tokens. O repositório contém código de modelo em Python, geração de dados sintéticos, treino e avaliação; é descrito como uma versão de investigação inicial, apenas com código-fonte, com pesos alojados separadamente no Hugging Face. - Cua Bench: ferramentas para construir tarefas de uso de computador, avaliar agentes e exportar trajetórias para treino. Uma tarefa simulada pode ser executada sem VM, Docker ou chave de API de modelo, usando Python 3.12/3.13 e uv. O README aponta para documentação, tutoriais, um blog, Discord e GitHub Issues. Afirma que o projeto tem licença MIT, com componentes de terceiros sob as suas próprias licenças (por exemplo Kasm, um pacote opcional cua-som com licença AGPL e artefactos relacionados com OmniParser). Avisos de marcas esclarecem que não há afiliação com Apple, Canonical ou Microsoft. Os metadados de citação são fornecidos via BibTeX e CITATION.cff.