Sobre o projeto

# open-computer-use `open-computer-use` é um serviço `Computer Use` de código aberto empacotado como `MCP` (Model Context Protocol). Qualquer agente de IA ou cliente MCP pode usá-lo para executar Computer Use no macOS, Linux e Windows. Este projeto foi inspirado no [Codex Computer Use](https://openai.com/index/codex-for-almost-everything/) da OpenAI. Ele demonstrou que um CUA (Computer Use Agent) não intrusivo pode ser construído sobre APIs de Acessibilidade, então este projeto fornece uma implementação de código aberto. ## Demos - **Codex App e Codex CLI**: Usado como Computer Use no Codex App e Codex CLI, correspondendo à experiência oficial. - **Gemini CLI**: Conecta-se ao `open-computer-use` através do MCP e executa ações completas de Computer Use. - **Linux**: Executa no Linux. ## Início Rápido ```bash npm i -g open-computer-use ``` O pacote npm também expõe `ocu` como alias curto da CLI. > **Importante**: O runtime do macOS requer macOS 14.0 ou superior. **No macOS, execute-o uma vez e conceda `Accessibility` e `Screen Recording`. Windows e Linux não precisam desta etapa.** ```bash open-computer-use # ou ocu ``` Antes de usá-lo, instale-o no seu agente: ```bash # Instalar no Codex escrevendo em ~/.codex/config.toml open-computer-use install-codex-mcp ``` Ou adicione-o manualmente ao seu próprio cliente: ```json { "mcpServers": { "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] } } } ``` ## Skill Instale a skill diretamente: ```bash # Instalar para Codex npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -y npx skills ls -g -a codex | rg 'open-computer-use' ``` Instalar para Claude Code: ```bash npx skills add iFurySt/open-codex-computer-use -g -a claude-code --skill open-computer-use -y ``` Atualizar uma instalação global existente, incluindo a instalação do Codex criada acima: ```bash npx skills update open-computer-use -g -y ``` Você também pode baixar e instalar manualmente a skill [`open-computer-use`](./skills/open-computer-use). ## Mais Comandos Além da configuração JSON do MCP acima, você também pode usar os comandos integrados: ```bash # Instalar no Codex escrevendo em ~/.codex/config.toml open-computer-use install-codex-mcp ocu install-codex-mcp # Instalar como plugin do Codex, principalmente para o Codex App open-computer-use install-codex-plugin # Instalar no Claude Code escrevendo em ~/.claude.json open-computer-use install-claude-mcp # Instalar no Gemini CLI para o projeto atual escrevendo em ./.gemini/settings.json open-computer-use install-gemini-mcp # Instalar na configuração de usuário do Gemini CLI open-computer-use install-gemini-mcp --scope user # Instalar no opencode escrevendo em ~/.config/opencode/opencode.json (ou o arquivo de configuração ativo) open-computer-use install-opencode-mcp # Instalar através do caminho de compatibilidade MCP genérico do DeepSeek Harness open-computer-use install-dsh-mcp ./scripts/install-dsh-mcp.sh --profile web --no-hook # Chamar uma única ferramenta Computer Use e imprimir o resultado JSON no estilo MCP open-computer-use call list_apps ocu call list_apps open-computer-use call get_app_state --args '{"app":"TextEdit"}' # Inspecionar a disponibilidade do runtime code-first ocu capabilities ocu capabilities --json # Executar uma avaliação JavaScript, a partir de um argumento, stdin ou arquivo ocu js 'var apps = await cua.listApps({ emit: false }); nodeRepl.write(apps)' printf '%s' 'nodeRepl.write(6 * 7)' | ocu js - ocu js --file ./automation.mjs # Manter JavaScript e bindings cua para a sessão atual do terminal ocu repl # Executar uma sequência em um processo para que o estado de element_index possa ser reutilizado open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]' open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5 # Verificar permissões; o onboarding só abre quando algo está faltando open-computer-use doctor # Executar validação local a partir de um checkout do código-fonte make smoke OPEN_COMPUTER_USE_STRESS_LOOPS=20 make stress make agent-smoke make agent-smoke SCENARIO=fixture-full node ./scripts/run-agent-smoke-tests.mjs --agents=claude,codex --command=open-computer-use node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture --agents=claude,codex --command=open-computer-use node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture-full --agents=claude,codex --command=open-computer-use OPEN_COMPUTER_USE_HERMES_PROVIDER=anthropic OPEN_COMPUTER_USE_HERMES_MODEL=claude-opus-4-20250514 make agent-smoke AGENTS=hermes SCENARIO=fixture-full node ./scripts/run-agent-smoke-tests.mjs --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514 node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514 node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture-full --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514 --hermes-max-turns=12 # Mostrar ajuda open-computer-use -h ocu -h ``` `ocu js` fecha seu JavaScript Worker e o processo filho MCP nativo após uma avaliação. `ocu repl` os mantém para a sessão atual do terminal até `.exit`, Ctrl-D ou encerramento; `.reset` limpa seus bindings. No macOS, o agente de permissão oculto separado `Open Computer Use.app` pode permanecer residente para que comandos posteriores reutilizem a mesma identidade de permissão. `ocu mcp` continua a expor a superfície de compatibilidade nativa de nove ferramentas. O próprio launcher npm atualmente requer Node.js 18 ou mais recente. Sua ajuda sempre lista `js` / `repl`, enquanto `ocu capabilities --json` informa se Node, o adaptador/kernel REPL e o runtime nativo estão disponíveis. Uma vez iniciado, ele reutiliza o executável Node atual em vez de procurar outro `node` no PATH. ## Cursor Motion Cursor Motion é um sistema de movimento de cursor de código aberto para macOS, baseado em informações públicas compartilhadas por membros da equipe Software.Inc. Você pode baixar o aplicativo na [página de Releases](https://github.com/iFurySt/open-codex-computer-use/releases). ## Star History Veja o [Star History Chart](https://www.star-history.com/?repos=iFurySt%2Fopen-codex-computer-use&type=date&legend=top-left) para a popularidade do projeto ao longo do tempo. ## Licença [MIT](./LICENSE).