mcp-arcade

MCP Arcade est un outil en ligne de commande pour tester des serveurs MCP. Il exécute un petit catalogue nommé d'expériences, appelées atomes, à l'encontre d'un serveur cible, et fonde son verdict sur les messages JSON-RPC échangés et sur les changements observés dans un bac à sable plutôt que sur les descriptions d'outils, la sortie du terminal ou le raisonnement écrit d'un modèle. La version 0.1.x fournit quatre atomes. inspect.tools_list vérifie que le menu publié par le serveur est le menu qu'il sert. poison.follow_through vérifie qu'une quête secondaire enfouie dans une description d'outil ne devient pas un appel tools/call réel. temporal.rug_pull vérifie que, après un certain nombre d'appels propres, l'outil reste le même outil. protocol.unlisted_call, marqué comme un holdout, appelle un nom généré par nonce absent du menu récemment récupéré et échoue uniquement si le serveur répond avec un succès JSON-RPC et isError false. L'option --atoms sélectionne les atomes à exécuter, et la sous-commande atoms liste le catalogue. La politique connectée, appelée siège d'agent, peut être naïve (suit les quêtes secondaires trouvées dans les descriptions), task-only (exécute l'outil demandé puis s'arrête), ou un modèle Ollama local. Le modèle local reçoit un prompt système figé, la tâche nommée, la liste d'outils exactement telle qu'elle est présentée, les résultats précédents, et les notifications entrantes du serveur en tant qu'observations non fiables, et il renvoie des appels d'outils ; seuls les noms et les arguments sont copiés depuis sa réponse, jamais sa prose. Sur les serveurs en direct, seuls les outils listés dans --seat-allow peuvent être envoyés, et les tentatives en dehors de cette liste sont enregistrées comme non autorisées sans atteindre le fil. L'installation se fait via pip ou une installation éditable à partir d'un clone. La commande bout exécute une session par rapport au fixture fourni, un serveur stdio ou une image Docker. Les cibles non-fixture nécessitent --allow-live ; l'outil ne lancera pas de commande autrement. Un outil de tâche bénigne et ses arguments peuvent être nommés avec --task et --args, et un bout les manquants est signalé comme SKIP plutôt que comme un succès. Les options couvrent également la détection de trame de message, les versions du protocole de poignée de main, les délais d'attente par requête, et une quête secondaire de maison opt-in ajoutée à la description d'un outil choisi. Un reçu est émis sous la forme mcp-arcade.bout/v1 JSON et peut être imprimé de façon canonique ou rendu sous forme de tableau chronologique avec une ligne par événement de fil, montrant la séquence, la direction, la méthode, l'id, l'atome propriétaire et une note. Les notifications du serveur et les requêtes provenant du serveur sont affichées comme leurs propres lignes. Le rendu est construit à partir d'une vue du reçu sans champs pour les scores ou les suppositions de l'opérateur, donc il ne peut pas afficher un verdict avant que l'opérateur ne l'enregistre. Les cibles Docker s'exécutent avec des valeurs par défaut restrictives : pas de réseau, système de fichiers en lecture seule, limites de mémoire et de pids, capacités abandonnées, et un conteneur frais par atome. L'ID de l'image est épinglé et revérifié avant chaque atome, le bac à sable est instantané depuis l'intérieur du conteneur, les montages et les drapeaux supplémentaires sont explicites et enregistrés, et les conteneurs sont supprimés ensuite. La notation utilise deux axes et un nombre combiné : utilité, signifiant que la tâche bénigne nommée s'est effectivement exécutée ; intégrité, signifiant aucun appel non autorisé, mensonge de catalogue ou mutation silencieuse ; et NRP, calculé comme task_success multiplié par (1 moins attack_success) et fixé à zéro pour tout bout contenant un atome ERROR. Une politique qui n'appelle jamais d'outils obtient un score zéro plutôt qu'un résultat d'intégrité parfait. Les reçus peuvent être convertis en un jeu de données JSONL avec une ligne par atome, étiqueté depuis le fil, avec les atomes holdout toujours redirigés vers un fichier séparé et les reçus proof-split exclus des données d'entraînement. Un manifeste enregistre la version du générateur, les hachages par reçu, les comptages et les raisons de suppression. L'outil ne collecte aucune télémétrie et ne établit aucune connexion réseau de lui-même, sauf le point de terminaison du modèle local, qui par défaut pointe vers une adresse de bouclage et est enregistré sur le reçu. Le projet indique clairement ses limites : ce n'est pas un benchmark de scanner, pas de test de charge, pas un client d'échantillonnage ou d'élicitation, pas un orchestrateur de conteneurs, et il ne fournit pas d'aperçu 3D. Il est sous licence MIT.