Sobre el proyecto
Vouch es un agente de llamada a herramientas de nivel financiero que responde preguntas financieras sobre cualquier empresa pública de EE. UU. utilizando presentaciones ante la SEC. Sigue una arquitectura de doble vía: las cifras exactas provienen de herramientas deterministas sobre datos XBRL en vivo (el LLM nunca realiza aritmética sobre datos financieros), mientras que el contexto narrativo se recupera mediante búsqueda densa con pgvector sobre documentos 10‑K, 10‑Q y 8‑K. Una barrera de salida bloquea cualquier número que no pueda rastrearse hasta su fuente—ya sea una herramienta XBRL o un pasaje citado de una presentación—asegurando que el sistema se abstenga en lugar de fabricar.
Las capacidades clave incluyen herramientas para obtener cifras exactas (`get_financials`), ratios estándar (`get_ratio`), crecimiento interanual (`get_growth`), fórmulas personalizadas (`compute_formula`), estados completos (`get_statement`), partidas más grandes/más pequeñas, desgloses por segmento/geografía y búsqueda cualitativa. Los ratios y el crecimiento se calculan con convenciones fijas para evitar el error común de los LLM de elegir la métrica base incorrecta. Las empresas excluidas de cotización o renombradas se resuelven por nombre, no por un ticker obsoleto.
El sistema se valida mediante una evaluación de tres capas: una puerta de CI interna de 84 casos que puntúa el anclaje numérico, la citación, la abstención y métricas de trayectoria; jueces LLM calibrados (fidelidad con Cohen’s κ = 0,76, cero falsos positivos en respuestas con abstención); y evaluación comparativa externa en FinanceBench (Patronus AI), donde alcanzó una cobertura abordable del 94% en el conjunto numérico con una tasa de cero fabricaciones y un 96% de anclaje narrativo. Las pruebas de red team adversariales redujeron la tasa de fabricación del 11% a 0.
Los usuarios pueden subir sus propios documentos financieros (informes internos, empresas no públicas) y el agente responde a partir de ellos utilizando extracción de celdas de tabla mediante Docling, con citas a nivel de celda (`nombre de archivo · página · fila/col`). Cada documento está aislado por usuario y delimitado para evitar atribuciones cruzadas entre archivos.
El despliegue expone un servicio local con `/ask`, `/export`, `/upload` y un endpoint de chat compatible con OpenAI. El modelo predeterminado es o4‑mini, y el sistema incluye una cola de fallos que registra métricas no gestionadas para futuras ampliaciones. Vouch está construido sobre LangGraph y pgvector, reutilizando la ingeniería de recuperación y evaluación de CI del proyecto anterior Slug Advisor.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.