À propos du projet
Vouch est un agent à appel d'outils de qualité financière qui répond aux questions financières sur toute société cotée américaine à partir des dépôts SEC. Il suit une architecture à double voie : les chiffres exacts proviennent d'outils déterministes sur des données XBRL en direct (le LLM n'effectue jamais d'arithmétique sur les données financières), tandis que le contexte narratif est récupéré via une recherche dense pgvector sur les documents 10‑K, 10‑Q et 8‑K. Un garde-fou de sortie bloque tout nombre qui ne peut être rattaché à sa source—soit un outil XBRL, soit un passage de dépôt cité—garantissant que le système s'abstient plutôt que de fabriquer.
Les capacités clés incluent des outils pour récupérer des chiffres exacts (`get_financials`), des ratios standard (`get_ratio`), la croissance d'une année sur l'autre (`get_growth`), des formules personnalisées (`compute_formula`), des états financiers complets (`get_statement`), les postes les plus grands/plus petits, des ventilations par segment/géographie et une recherche qualitative. Les ratios et la croissance sont calculés avec des conventions fixes afin d'éviter l'erreur courante des LLM consistant à choisir la mauvaise métrique de base. Les sociétés radiées ou renommées sont résolues par leur nom, et non par un ticker obsolète.
Le système est validé par une évaluation à trois niveaux : une barrière CI interne de 84 cas notant l'ancrage numérique, la citation, l'abstention et les métriques de trajectoire ; des juges LLM calibrés (fidélité à Cohen's κ = 0,76, zéro faux positif sur les réponses s'abstenant) ; et un benchmarking externe sur FinanceBench (Patronus AI), où il a atteint 94 % de couverture traitable sur l'ensemble numérique avec un taux de zéro fabrication et 96 % d'ancrage narratif. Des tests contradictoires de red team ont fait passer le taux de fabrication de 11 % à 0.
Les utilisateurs peuvent téléverser leurs propres documents financiers (rapports internes, sociétés non cotées) et l'agent y répond en utilisant l'extraction de cellules de tableau via Docling, avec des citations au niveau des cellules (`filename · page · row/col`). Chaque document est isolé par utilisateur et délimité pour empêcher toute attribution croisée entre fichiers.
Le déploiement expose un service local avec `/ask`, `/export`, `/upload` et un point de terminaison de chat compatible OpenAI. Le modèle par défaut est o4‑mini, et le système inclut une file d'attente des échecs qui journalise les métriques non traitées pour une extension future. Vouch est construit sur LangGraph et pgvector, réutilisant l'ingénierie de récupération et d'évaluation CI du projet antérieur Slug Advisor.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.