À propos du projet

# open-computer-use `open-computer-use` est un service `Computer Use` open source encapsulé en `MCP` (Model Context Protocol). Tout agent IA ou client MCP peut l'utiliser pour exécuter Computer Use sur macOS, Linux et Windows. Ce projet s'inspire de [Codex Computer Use](https://openai.com/index/codex-for-almost-everything/) d'OpenAI. Il a démontré qu'un CUA (Computer Use Agent) non intrusif peut être construit au-dessus des API d'accessibilité ; ce projet en fournit donc une implémentation open source. ## Démos - **Codex App et Codex CLI** : utilisés comme Computer Use dans Codex App et Codex CLI, pour une expérience identique à l'officielle. - **Gemini CLI** : se connecte à `open-computer-use` via MCP et exécute toutes les actions Computer Use. - **Linux** : fonctionne sur Linux. ## Démarrage rapide ```bash npm i -g open-computer-use ``` Le paquet npm expose aussi `ocu` comme alias CLI court. > **Important** : le runtime macOS nécessite macOS 14.0 ou une version ultérieure. **Sur macOS, exécutez-le une fois et accordez `Accessibility` et `Screen Recording`. Windows et Linux n'ont pas besoin de cette étape.** ```bash open-computer-use # ou ocu ``` Avant de l'utiliser, installez-le dans votre agent : ```bash # Installer dans Codex en écrivant dans ~/.codex/config.toml open-computer-use install-codex-mcp ``` Ou ajoutez-le manuellement à votre propre client : ```json { "mcpServers": { "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] } } } ``` ## Skill Installez directement le skill : ```bash # Installer pour Codex npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -y npx skills ls -g -a codex | rg 'open-computer-use' ``` Installer pour Claude Code : ```bash npx skills add iFurySt/open-codex-computer-use -g -a claude-code --skill open-computer-use -y ``` Mettre à jour une installation globale existante, y compris l'installation Codex créée ci-dessus : ```bash npx skills update open-computer-use -g -y ``` Vous pouvez aussi télécharger et installer manuellement le [skill `open-computer-use`](./skills/open-computer-use). ## Autres commandes Outre la configuration JSON MCP ci-dessus, vous pouvez aussi utiliser les commandes intégrées : ```bash # Installer dans Codex en écrivant dans ~/.codex/config.toml open-computer-use install-codex-mcp ocu install-codex-mcp # Installer comme plugin Codex, principalement pour Codex App open-computer-use install-codex-plugin # Installer dans Claude Code en écrivant dans ~/.claude.json open-computer-use install-claude-mcp # Installer dans Gemini CLI pour le projet courant en écrivant dans ./.gemini/settings.json open-computer-use install-gemini-mcp # Installer plutôt dans la configuration utilisateur de Gemini CLI open-computer-use install-gemini-mcp --scope user # Installer dans opencode en écrivant dans ~/.config/opencode/opencode.json (ou le fichier de configuration actif) open-computer-use install-opencode-mcp # Installer via le chemin de compatibilité MCP générique de DeepSeek Harness open-computer-use install-dsh-mcp ./scripts/install-dsh-mcp.sh --profile web --no-hook # Appeler un seul outil Computer Use et afficher le résultat JSON au format MCP open-computer-use call list_apps ocu call list_apps open-computer-use call get_app_state --args '{"app":"TextEdit"}' # Inspecter la disponibilité du runtime code-first ocu capabilities ocu capabilities --json # Exécuter une évaluation JavaScript, depuis un argument, stdin ou un fichier ocu js 'var apps = await cua.listApps({ emit: false }); nodeRepl.write(apps)' printf '%s' 'nodeRepl.write(6 * 7)' | ocu js - ocu js --file ./automation.mjs # Conserver les bindings JavaScript et cua pour la session de terminal courante ocu repl # Exécuter une séquence dans un seul processus afin de réutiliser l'état element_index open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]' open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5 # Vérifier les permissions ; l'onboarding ne s'ouvre que si quelque chose manque open-computer-use doctor # Lancer la validation locale depuis un checkout source make smoke OPEN_COMPUTER_USE_STRESS_LOOPS=20 make stress make agent-smoke make agent-smoke SCENARIO=fixture-full node ./scripts/run-agent-smoke-tests.mjs --agents=claude,codex --command=open-computer-use node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture --agents=claude,codex --command=open-computer-use node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture-full --agents=claude,codex --command=open-computer-use OPEN_COMPUTER_USE_HERMES_PROVIDER=anthropic OPEN_COMPUTER_USE_HERMES_MODEL=claude-opus-4-20250514 make agent-smoke AGENTS=hermes SCENARIO=fixture-full node ./scripts/run-agent-smoke-tests.mjs --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514 node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514 node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture-full --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514 --hermes-max-turns=12 # Afficher l'aide open-computer-use -h ocu -h ``` `ocu js` ferme son JavaScript Worker et son processus MCP natif enfant après une évaluation. `ocu repl` les conserve pour la session de terminal courante jusqu'à `.exit`, Ctrl-D ou l'arrêt ; `.reset` efface ses bindings. Sur macOS, l'agent de permissions caché séparé `Open Computer Use.app` peut rester résident afin que les commandes ultérieures réutilisent la même identité de permissions. `ocu mcp` continue d'exposer la surface de compatibilité native à neuf outils. Le lanceur npm lui-même nécessite actuellement Node.js 18 ou une version ultérieure. Son aide liste toujours `js` / `repl`, tandis que `ocu capabilities --json` indique si Node, l'adaptateur/noyau REPL et le runtime natif sont disponibles. Une fois démarré, il réutilise l'exécutable Node courant au lieu de rechercher un autre `node` dans le PATH. ## Cursor Motion Cursor Motion est un système open source de mouvement du curseur pour macOS, basé sur des informations publiques partagées par des membres de l'équipe Software.Inc. Vous pouvez télécharger l'application depuis la [page Releases](https://github.com/iFurySt/open-codex-computer-use/releases). ## Star History Consultez le [Star History Chart](https://www.star-history.com/?repos=iFurySt%2Fopen-codex-computer-use&type=date&legend=top-left) pour suivre la popularité du projet dans le temps. ## Licence [MIT](./LICENSE).