cospa

COSPA (Cost Of Solving Programming Assignments) は、コーディングエージェントの「コストパフォーマンス」を評価するために設計されたベンチマークフレームワークです。正解数、トークン使用量、経過時間、および推定APIコストを記録することで、モデルがコスト単位あたりに提供する能力や品質を測定します。 このフレームワークは、以下の6つのベンチマークスイートで構成される公式の336タスクパネルを利用しています： - BigCodeBench-Hard Agentic: Python関数の実装。 - SWE-Explore Verified: コードの場所および関連性の特定。 - Multi-SWE-bench Flash: 多言語リポジトリの修復。 - Terminal-Bench Core: システム管理およびターミナルタスク。 - SWE-PolyBench Verified: Java, JS, Python, TypeScriptのリポジトリ修復。 - FeatureBench Lite: 様々なリポジトリにおける機能実装。 COSPAはモデルをホストしません。OpenAI互換のエンドポイント、またはPiコーディングエージェント経由で設定されたプロバイダーが必要です。また、並行して試行を実行する際の安定性を確保するため、ハードウェアリソース（RAM、ディスク、PSI）を管理する高度なホストガードシステムを備えています。 主な機能は以下の通りです： - pi_vanillaやjouzuなどの複数のエージェント構成（アダプター）をサポート。 - マニフェスト、モデルトレース、グレーダーの判定を含む詳細な結果追跡。 - ターミナルまたはブラウザUIを介して、スコア、カバレッジ、信頼区間を分析するための組み込みビューア。 - リファレンス修正が有効であり、スターターリポジトリが一貫して失敗することを保証するための厳格なタスク選択基準。