À propos du projet

iFixAi fournit un cadre pour l'audit indépendant des agents d'IA, axé sur l'assurance opérationnelle et les tests adversariaux. Contrairement aux outils d'observabilité traditionnels qui se concentrent sur des indicateurs techniques comme la latence ou l'efficacité des tokens, iFixAi évalue si un agent remplit bien son rôle métier prévu. L'outil évalue les agents selon cinq piliers fondamentaux : Fabrication (fabrication de contenus), Manipulation, Déception, Imprévisibilité et Opacité. Sur la base de ces inspections, il attribue une note lettrée (A–F). Il comprend également un niveau premium avec 13 catégories supplémentaires (telles que la sabotage et les risques systémiques) pour une analyse approfondie. Les fonctionnalités clés incluent : - Plusieurs modes d'exécution : un assistant CLI guidé, des drapeaux CLI explicites pour l'automatisation CI/CD, et des plugins/compétences natifs pour des agents tels que Claude Code, Cursor et VS Code. - Jugement indépendant : prend en charge des notes « citables » où un deuxième fournisseur d'IA indépendant agit comme juge pour éviter les biais d'auto-notation. - Intégration flexible : peut tester des API de modèle brutes ou de véritables agents déployés via des points de terminaison HTTP compatibles OpenAI. - Suites de tests personnalisables : propose différents niveaux de suites,包括 smoke, strategic, core, extended et all. - Rapports complets : génère des résultats en formats JSON et Markdown, incluant un scorecard détaillé.