À propos du projet

TARS est une pile d'agents IA multimodaux open source qui propose actuellement deux projets liés : Agent TARS et UI-TARS Desktop. Les deux sont sous licence Apache 2.0 et développés par ByteDance. Agent TARS est décrit comme une pile d'agents IA multimodaux générale qui apporte des capacités d'agent GUI et de vision dans le terminal, l'ordinateur, le navigateur et le produit. Il est principalement fourni sous forme de CLI et d'interface Web. Selon le README, il vise à fournir un flux de travail plus proche de l'accomplissement de tâches de type humain grâce à des LLM multimodaux et à l'intégration avec des outils MCP réels. Ses fonctionnalités principales déclarées incluent une CLI clé en main en un clic prenant en charge à la fois l'interface Web avec affichage et l'exécution de serveur sans tête, un agent navigateur hybride qui peut contrôler les navigateurs via l'agent GUI, le DOM ou une stratégie hybride, un flux d'événements piloté par protocole pour l'ingénierie de contexte et l'interface d'agent, et un noyau basé sur MCP qui prend en charge le montage de serveurs MCP pour se connecter à des outils externes. Les exemples d'installation utilisent npx ou une installation npm globale (Node.js >= 22), et il peut être exécuté avec différents fournisseurs de modèles tels que Volcengine ou Anthropic en spécifiant le fournisseur, le modèle et la clé API. Une note de version v0.3.0 mentionne la prise en charge du streaming pour plusieurs outils, les paramètres d'exécution avec statistiques de synchronisation, un visualiseur de flux d'événements et la prise en charge d'un bac à sable d'agent AIO comme environnement d'exécution isolé. UI-TARS Desktop est une application de bureau fournissant un agent GUI natif pour l'ordinateur local, piloté par le modèle UI-TARS et les modèles Seed-1.5-VL/1.6. Il offre des opérateurs d'ordinateur locaux et distants ainsi que des opérateurs de navigateur. Ses fonctionnalités listées incluent le contrôle en langage naturel alimenté par un modèle vision-langage, la prise en charge de captures d'écran et de reconnaissance visuelle, un contrôle précis de la souris et du clavier, une prise en charge multiplateforme (Windows/macOS/navigateur), des retours en temps réel et un affichage de l'état, et un traitement entièrement local pour la confidentialité. Le README renvoie à un article (arXiv 2501.12326), aux modèles Hugging Face, à ModelScope et à une communauté Discord. Le README fait également référence à un SDK UI TARS comme boîte à outils multiplateforme pour construire des agents d'automatisation GUI, et à une documentation couvrant le démarrage rapide, le déploiement et l'intégration MCP. Les cas d'utilisation présentés incluent la réservation de vols ou d'hôtels, la génération de graphiques et le réglage des paramètres d'application via des instructions en langage naturel.