このプロジェクトについて
Vouchは、米国公開企業に関する財務質問にSEC提出書類を用いて回答する金融グレードのツール呼び出しエージェントです。二経路アーキテクチャを採用しています。正確な数値は、生のXBRLデータに対する決定論的ツールから得られます(LLMは財務数値に対して算術演算を行いません)。一方、物語的コンテキストは、10-K、10-Q、8-K文書に対するpgvectorの高密度検索で取得されます。出力ガードレールは、XBRLツールまたは引用された提出書類の一節のいずれかで、その出典に遡れない数値をブロックし、システムが捏造ではなく回答を控えることを保証します。
主な機能には、正確な数値の取得(`get_financials`)、標準比率(`get_ratio`)、前年比成長率(`get_growth`)、カスタム計算式(`compute_formula`)、完全な財務諸表(`get_statement`)、最大・最小の項目、セグメント・地域別内訳、定性的検索のためのツールが含まれます。比率と成長率は、一般的なLLMエラーである誤った基準指標の選択を避けるため、固定された慣例で計算されます。上場廃止または社名変更された企業は、無効なティッカーではなく名前で解決されます。
システムは3層評価で検証されています。数値の正確性、引用、回答控え、軌道メトリクスを評価する84ケースの内部CIゲート、較正されたLLM判定者(Cohenのκ=0.76の忠実性、回答控えに対する偽陽性ゼロ)、そしてPatronus AIのFinanceBenchでの外部ベンチマーク(数値セットで94%の対応可能カバレッジ、ゼロ捏造率、96%の物語的根拠)です。敵対的レッドチームテストにより、捏造率は11%から0%に改善されました。
ユーザーは独自の財務文書(内部レポート、非公開企業)をアップロードでき、エージェントはDoclingによるテーブルセル抽出を使用して回答し、セルレベルの引用(`ファイル名・ページ・行/列`)を提供します。各文書はユーザーごとに分離され、スコープが制限されて、ファイル間の帰属を防ぎます。
デプロイメントは、`/ask`、`/export`、`/upload`、およびOpenAI互換のチャットエンドポイントを備えたローカルサービスを公開します。デフォルトモデルはo4-miniで、将来の拡張のために未処理のメトリクスを記録するミスキューが含まれています。VouchはLangGraphとpgvector上に構築され、以前のSlug Advisorプロジェクトの検索とCI評価エンジニアリングを再利用しています。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.