cua

Cuaは、AIエージェントに操作可能なコンピュータを与えることを目的としたオープンソースプロジェクトです。デスクトップ自動化、サンドボックス環境、仮想マシン、専門モデル、評価ツールを1つのリポジトリにまとめています。プロジェクトはその範囲を「Computer-Use 2.0」と表現しており、単一のタスク内でコード、API、グラフィカルインターフェースの間を移動できるエージェントを意味します。 主なコンポーネント: - Cua Driver: macOS、Windows、Linux上のネイティブデスクトップアプリとブラウザを検査・操作するためのツール。CLI、MCP、または型付きSDKから利用できます。アプリとプラットフォームが許す場合、ポインタを動かしたりフォーカスを奪ったりせずにエージェントが動作できるよう、バックグラウンド配信が提供されています。macOS/Linux（shell）およびWindows（PowerShell）用のインストールスクリプトが用意されています。 - Cua Fleets: run.cua.aiを通じてプロビジョニングされる分離されたクラウドデスクトップ。フリートはサンドボックス容量を保持し、コードはプールからデスクトップを取得してSandbox SDKを使い、コマンド実行、スクリーンショット取得、アプリとの対話を行います。ローカルサンドボックスとフリートはSDKを共有しますが、認証情報、イメージ、操作、ランタイム要件が異なります。 - Lume: AppleのVirtualization.Frameworkを使い、Apple Silicon上でローカルのmacOSおよびLinux VMを作成・管理します。CLIとインストールスクリプトを備えています。 - CUA-S1: フィールドに値を選ぶなど、限定されたコンピュータ操作の意思決定を行うための小型で専門化された「System 1」モデル群。最初の研究プロファイルはフォームに焦点を当て、トークンを生成するのではなく、構造化されたインターフェース要素とドキュメント値から意思決定をスコアリングします。リポジトリにはPythonモデルコード、合成データ生成、学習、評価が含まれます。これは初期のソースのみの研究リリースであり、重みはHugging Faceで別途ホストされていると説明されています。 - Cua Bench: コンピュータ操作タスクを構築し、エージェントを評価し、学習用にトラジェクトリをエクスポートするためのツール。シミュレーションされたタスクは、VM、Docker、モデルAPIキーなしで、Python 3.12/3.13とuvを使って実行できます。 READMEはドキュメント、チュートリアル、ブログ、Discord、GitHub Issuesを参照しています。プロジェクトはMITライセンスであり、サードパーティコンポーネントはそれぞれのライセンス（例: Kasm、オプションのAGPLライセンスのcua-somパッケージ、OmniParser関連の成果物）の下にあると記載されています。商標表示は、Apple、Canonical、Microsoftとの提携がないことを明確にしています。引用メタデータはBibTeXとCITATION.cffで提供されています。