ifixai

iFixAi는 AI 에이전트의 독립적인 감사를 위한 프레임워크로, 운영 보장 및 적대적 테스트에 중점을 둡니다. 기존 관측 도구들이 지연 시간이나 토큰 효율성과 같은 기술적 지표에 집중하는 것과 달리, iFixAi는 에이전트가 의도된 비즈니스 역할을 수행하고 있는지 평가합니다. 도구는 Fabrication(조작), Manipulation(조종), Deception(기만), Unpredictability(예측 불가능성), Opacity(불투명성)라는 5개 핵심 기둥을 기준으로 에이전트를 평가하며, 이에 따라 A부터 F까지 문자 등급을 부여합니다. 또한 sabotage 및 systemic risk를 포함한 13개의 추가 카테고리로 구성된 프리미엄 티어를 제공해 더 깊이 있는 분석을 지원합니다. 주요 기능은 다음과 같습니다: - 다중 실행 모드: 안내형 CLI 마법사, CI/CD 자동화를 위한 명시적 CLI 플래그, Claude Code, Cursor, VS Code와 같은 에이전트용 기본 플러그인 및 스킬 지원 - 독립적 심사: 두 번째 독립 AI 제공자가 심판으로 참여하는 '표본 인용 가능한' 등급 시스템을 통해 자기 채점 편향을 방지 - 유연한 통합: 기본 모델 API 또는 OpenAI 호환 HTTP 엔드포인트를 통해 실제 배포된 에이전트 테스트 가능 - 사용자 정의 가능한 테스트 스위트: 연기, 전략적, 핵심, 확장, 전체 등 다양한 스위트 레벨 제공 - 포괄적인 보고: JSON 및 Markdown 형식으로 상세 점수표를 포함한 결과 생성