agent-desktop

Agent Desktopは、AIエージェントにデスクトップ上での信頼性の高いコンピュータ操作機能を提供するRustベースのツールです。スクリーンショットを解釈したりピクセルから推測したりする代わりに、オペレーティングシステムのアクセシビリティツリーを通じて各アプリケーションの実際のUI構造を読み取り、安定した修飾参照を介して要素を操作します。 **中核となるアプローチ。** エージェントループは、スナップショット → 判断 → 操作 → 再スナップショットです。スナップショットは、修飾参照（例: `@s8f3k2p9:e3`）でタグ付けされたインタラクティブ要素を含むアクセシビリティツリーを返します。アクションはアクセシビリティAPIを通じてこれらの参照を直接対象とするため、再試行しても安全であり、フォーカスを暗黙に奪ったり、カーソルを移動したり、クリップボードに触れたりしません。SlackやVS Codeのような高密度アプリケーションでは、プログレッシブスケルトン走査モードがまず浅い概要を提供し、その後に対象を絞ったドリルダウンを行うことで、トークン使用量を大幅に削減します。 **コマンド。** CLIは、観察（snapshot、screenshot、find、get、is）、操作（click、type、set-value、toggle、scroll、select）、キーボード、マウス、アプリ/ウィンドウ管理、通知（macOS）、クリップボード、待機条件、バッチ実行にわたる54の運用コマンドを公開しています。セッションシステムは、トレーシング、マルチエージェントワークフロー用の共有名前空間、およびオプションのプレゼンテーションカーソルオーバーレイをサポートします。 **Chromium相互運用。** `launch --cdp`は、Chromiumベースのアプリ上で検証済みのChrome DevTools Protocolエンドポイントを開き、CDP対応フレームワーク（Playwright、Puppeteer、agent-browser）がWebコンテンツを操作できるようにしつつ、ネイティブのメニューやダイアログはアクセシビリティ経路に留めます。 **バインディングとデプロイ。** 単一バイナリのCLI（npm経由でインストール可能、またはソースからビルド）として、またPython、Swift、Go、Ruby、Node、Cからのインプロセス呼び出し用のビルド済みC-ABI cdylibとして提供されます。Rust 1.89以降およびmacOS 13.0以降が必要です。LinuxおよびWindowsのFFIビルドも提供されていますが、アクセシビリティアダプターはmacOSに焦点を当てています。Apache-2.0の下でライセンスされています。