इस प्रोजेक्ट के बारे में

एजेंट डेस्कटॉप एक Rust-आधारित उपकरण है जो AI एजेंटों को डेस्कटॉप पर विश्वसनीय कंप्यूटर-उपयोग क्षमताएं प्रदान करता है। स्क्रीनशॉट की व्याख्या करने या पिक्सेल से अनुमान लगाने के बजाय, यह ऑपरेटिंग सिस्टम के एक्सेसिबिलिटी ट्री के माध्यम से प्रत्येक एप्लिकेशन की वास्तविक UI संरचना को पढ़ता है और स्थिर, योग्य संदर्भों के माध्यम से तत्वों पर कार्य करता है। **मुख्य दृष्टिकोण।** एजेंट लूप है: स्नैपशॉट → निर्णय → कार्य → पुनः स्नैपशॉट। एक स्नैपशॉट एक एक्सेसिबिलिटी ट्री लौटाता है जिसमें इंटरैक्टिव तत्व योग्य संदर्भों (जैसे `@s8f3k2p9:e3`) के साथ टैग किए जाते हैं। क्रियाएं एक्सेसिबिलिटी API के माध्यम से सीधे इन संदर्भों को लक्षित करती हैं, इसलिए वे रीट्राई करने के लिए सुरक्षित रहती हैं और चुपचाप फोकस नहीं चुराती, कर्सर नहीं हिलाती, या क्लिपबोर्ड को स्पर्श नहीं करती। Slack या VS Code जैसे घने अनुप्रयोगों के लिए, एक प्रगतिशील कंकाल ट्रैवर्सल मोड पहले एक उथला अवलोकन प्रदान करता है, फिर लक्षित ड्रिल-डाउन करता है, जिससे टोकन उपयोग में काफी कमी आती है। **कमांड।** CLI 54 ऑपरेशनल कमांड प्रदर्शित करता है जो अवलोकन (स्नैपशॉट, स्क्रीनशॉट, फाइंड, गेट, इज़), इंटरैक्शन (क्लिक, टाइप, सेट-वैल्यू, टॉगल, स्क्रॉल, सेलेक्ट), कीबोर्ड, माउस, ऐप/विंडो प्रबंधन, नोटिफिकेशन (macOS), क्लिपबोर्ड, प्रतीक्षा शर्तें, और बैच निष्पादन को कवर करते हैं। एक सत्र प्रणाली ट्रेसिंग, मल्टी-एजेंट वर्कफ़्लो के लिए साझा नामस्थान, और एक वैकल्पिक प्रेजेंटेशन कर्सर ओवरले का समर्थन करती है। **क्रोमियम इंटरऑप।** `launch --cdp` क्रोमियम-आधारित ऐप्स पर एक सत्यापित Chrome DevTools Protocol एंडपॉइंट खोलता है, जिससे CDP-बोलने वाले फ्रेमवर्क (Playwright, Puppeteer, agent-browser) वेब सामग्री चला सकते हैं जबकि मूल मेनू और डायलॉग एक्सेसिबिलिटी पथ पर रहते हैं। **बाइंडिंग और तैनाती।** एकल-बाइनरी CLI (npm के माध्यम से स्थापित या स्रोत से निर्मित) और Python, Swift, Go, Ruby, Node, और C से इन-प्रोसेस कॉल के लिए एक पूर्व-निर्मित C-ABI cdylib के रूप में शिप करता है। इसके लिए Rust 1.89+ और macOS 13.0+ की आवश्यकता है; Linux और Windows FFI बिल्ड प्रदान किए गए हैं लेकिन एक्सेसिबिलिटी एडाप्टर macOS-केंद्रित है। Apache-2.0 के तहत लाइसेंस प्राप्त।