vessel

Vessel est un proxy d'observabilité local-first pour le trafic LLM. Vous pointez le base_url d'un client vers un seul binaire et obtenez la capture, la recherche, les métriques, le replay, la comparaison et une interface privée. Tout le trafic capturé est stocké uniquement sur votre machine ; les prompts ne sont transmis qu'aux fournisseurs de modèles que vous configurez. Les backends pris en charge incluent OpenAI (API Chat/Responses), Anthropic Messages, Ollama et tout serveur compatible OpenAI (LM Studio, llama.cpp, vLLM). Vessel capture et recherche tous les types de trafic, y compris les formats inconnus, et les stocke avec des corps compressés dans une base de données SQLite locale. Capacités principales : - Capture et recherche : historique en direct avec sessions, tags, filtres, santé des backends et avertissements. Thèmes clair/sombre. - Replay et Compare : rejouez toute requête capturée sur le même backend ou un backend ou modèle différent. Déployez jusqu'à 8 variations (plusieurs modèles ou balayages de paramètres comme temperature 0.2/0.7/1.0). Comparez les réponses côte à côte avec les écarts de métriques. Notez les réponses de 1 à 5 ; Reports classe les modèles et les jeux de paramètres par score moyen. - Reports : tokens, requêtes, tok/s, durée, efficacité du cache, avertissements par modèle/tag/backend, croissance du contexte au fil des sessions. Exportez les listes filtrées en CSV ou JSONL. - Routage et tags : routez toute requête vers n'importe quel backend configuré, par requête, via le chemin (/b/{backend}/...) ou l'en-tête X-Vessel-Backend. Taguez les requêtes via l'en-tête X-Vessel-Tags ou le chemin (/t/{tag}/...) pour l'attribution dans les applications multi-agents. Sessions nommées via X-Vessel-Session. - Point de terminaison MCP : un serveur MCP en lecture seule à /vessel/mcp permet à des outils d'IA comme Claude Code de rechercher et d'inspecter le trafic capturé. Les requêtes et sessions capturées sont également exposées comme ressources MCP. - Avertissements : détecte les chargements à froid, les TTFT lents, les réponses lentes, les sorties répétitives, les réponses tronquées, les tokens estimés, les flux incomplets, les déconnexions client, la troncature de corps, les erreurs HTTP/parse, et plus encore. Confidentialité : les requêtes sont transmises octet par octet. Vessel ne stocke jamais les clés API ; les en-têtes d'autorisation sont masqués au repos. Il se lie à localhost par défaut et avertit si vous le liez à une adresse non-loopback. L'installation est disponible via Homebrew (macOS/Linux), Scoop (Windows), Docker Compose ou téléchargement direct. La configuration se fait via un fichier vessel.json avec des options pour l'adresse d'écoute, les backends, les timeouts, les plafonds de rétention, les limites de capture, les seuils d'avertissement et l'activation de MCP. La compilation depuis les sources nécessite .NET 10 et Node.js. Sous licence MIT.