منصوبے کے بارے میں
iFixAi AI ایجنٹس کے آزادانہ آڈٹ کے لیے ایک فریم ورک فراہم کرتا ہے، جو آپریشنل یقین دہانی اور دشمنانہ ٹیسٹنگ پر توجہ مرکوز کرتا ہے۔ روایتیobservability tools کے برعکس جو latency یا token efficiency جیسے تکنیکی میٹرکس پر مبنی ہوتے ہیں، iFixAi یہ تشخیص کرتا ہے کہ آیا ایک ایجنٹ اپنا مقصود کاروباری کردار درست طریقے سے نبھا رہا ہے یا نہیں۔
یہ ٹول ایجنٹس کو پانچ بنیادی ستونوں کے تحت جانچتا ہے: Fabrication, Manipulation, Deception, Unpredictability, اور Opacity۔ ان معائنے کی بنیاد پر، یہ A–F تک حروفی گریڈ مقرر کرتا ہے۔ اس کے علاوہ، گہرے تجزیے کے لیے 13 اضافی زمروں (جیسے sabotage اور systemic risk) کا پریمیم tier بھی موجود ہے۔
اہم خصوصیات:
- کئی execution modes: ایک گائیڈڈ CLI wizard، CI/CD automation کے لیے explicit CLI flags، اور Claude Code, Cursor, VS Code جیسے ایجنٹس کے لیے native plugins/skills۔
- Independent Judging: "citable" grades کی حمایت کرتا ہے، جہاں ایک دوسرا آزاد AI provider judge کے طور پر خود درجہ بندی کے تعصب سے بچنے میں مدد دیتا ہے۔
- Flexible Integration: یہ bare model APIs یا real deployed agents کو OpenAI-compatible HTTP endpoints کے ذریعے ٹیسٹ کر سکتا ہے۔
- Customizable Test Suites: smoke, strategic, core, extended, اور all سمیت مختلف suite levels پیش کرتا ہے۔
- Comprehensive Reporting: JSON اور Markdown فارمیٹ میں نتائج پیدا کرتا ہے، جس میں ایک تفصیلی scorecard بھی شامل ہوتی ہے۔
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.