Об этом проекте
Vouch — агент с вызовами инструментов финансового уровня, который отвечает на финансовые вопросы о любой публичной компании США, используя отчеты SEC. Решение следует двухпутевой архитектуре: точные показатели поступают из детерминированных инструментов поверх актуальных данных XBRL (LLM никогда не выполняет арифметические операции с финансовыми показателями), а повествовательный контекст извлекается через плотный поиск pgvector по документам 10-K, 10-Q и 8-K. Выходной предохранитель блокирует любое число, которое нельзя отследить до его источника — инструмента XBRL или цитируемого фрагмента отчета, — благодаря чему система воздерживается от ответа вместо фабрикации.
Ключевые возможности включают инструменты для получения точных показателей (`get_financials`), стандартных коэффициентов (`get_ratio`), год к году роста (`get_growth`), пользовательских формул (`compute_formula`), полных отчетов (`get_statement`), крупнейших/наименьших статей, разбивок по сегментам/географии и качественного поиска. Коэффициенты и рост вычисляются по фиксированным соглашениям, чтобы избежать типичной ошибки LLM с выбором неправильного базового показателя. Делистинг или переименованные компании определяются по названию, а не по недействующему тикеру.
Система проверяется с помощью трехслойной оценки: внутренний CI-гейт из 84 кейсов, оценивающий числовую обоснованность, цитирование, воздержание от ответа и метрики траектории; калиброванные LLM-судьи (достоверность по коэффициенту Каппа Коэна κ = 0,76, нулевые ложные срабатывания для ответов-воздержаний); а также внешнее бенчмаркинг-тестирование на FinanceBench (Patronus AI), где было достигнуто 94% покрытия решаемых задач на числовом наборе при нулевом уровне фабрикации и 96% обоснованности повествовательных ответов. Состязательное red-team-тестирование снизило долю фабрикаций с 11% до 0.
Пользователи могут загружать собственные финансовые документы (внутренние отчеты, непубличные компании), и агент отвечает на их основе с использованием извлечения ячеек таблиц через Docling и цитирований на уровне ячеек (`имя_файла · страница · строка/столбец`). Каждый документ изолирован для конкретного пользователя и ограничен областью, чтобы предотвратить атрибуцию между разными файлами.
Развертывание предоставляет локальный сервис с эндпоинтами `/ask`, `/export`, `/upload` и совместимым с OpenAI эндпоинтом чата. Модель по умолчанию — o4-mini; в системе есть очередь промахов, которая логирует необработанные метрики для будущего расширения. Vouch построен на LangGraph и pgvector с повторным использованием инженерных решений для поиска и CI-оценки из более раннего проекта Slug Advisor.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.