منصوبے کے بارے میں

Iris ایک اوپن سورس MCP (ماڈل کانٹیکسٹ پروٹوکول) سرور ہے جو AI ایجنٹ آؤٹ پٹس کو کوالٹی، سیفٹی اور لاگت کے لیے ایویلیویٹ کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ مکمل طور پر آپ کی مشین پر چلتا ہے، ٹریسز کو لوکل SQLite ڈیٹا بیس میں اسٹور کرتا ہے، اور اس کے لیے نہ اکاؤنٹ، نہ SDK اور نہ ٹیلی میٹری درکار ہے۔ یہ پروجیکٹ MIT لائسنس یافتہ ہے اور Node.js 20 یا اس سے نئے ورژن کی ضرورت ہے۔ بنیادی صلاحیتوں میں ٹریس لاگنگ شامل ہے جس میں ہائرارکیکل اسپین ٹریز، فی ٹول کال لیٹنسی، ٹوکن استعمال اور USD میں لاگت ٹریکنگ شامل ہے۔ آؤٹ پٹ ایویلیویشن چار کیٹیگریز میں 20 بلٹ ان ڈیٹرمینسٹک رولز استعمال کرتی ہے: مکمل پن، ریلیوینس، سیفٹی اور لاگت۔ سیفٹی رولز PII (19 پیٹرن بشمول SSN، کریڈٹ کارڈ، فون، ای میل، IBAN، DOB، MRN، IP، API کیز، پاسپورٹ اور کلاؤڈ پرووائیڈر ٹوکنز)، پرامپٹ انجیکشن (37 پیٹرن)، ہیلوسینیشن مارکرز (25 کانٹیکسٹ گراؤنڈڈ فیبریکیشن سگنلز) اور ٹریجیکٹری کی خلاف ورزیاں جیسے غیر تسلیم شدہ ناکام ٹول کالز، بار بار کالز، اسکیما ریجیکٹڈ آرگیومنٹس اور ایسے سائٹڈ سورسز جنہیں ایجنٹ نے کبھی نہیں پڑھا، کا پتہ لگاتی ہیں۔ ایک اختیاری LLM-بطور-جج فیچر Anthropic یا OpenAI کے ذریعے سیمنٹک اسکورنگ فراہم کرتا ہے جس میں فی ایویلیویشن لاگت کی سخت حد (ڈیفالٹ $0.25) ہوتی ہے۔ Iris بارہ MCP ٹولز رجسٹر کرتا ہے جنہیں کوئی بھی MCP-مطابق ایجنٹ استعمال کر سکتا ہے: log_trace، evaluate_output، get_traces، list_rules، deploy_rule، delete_rule، delete_trace، evaluate_with_llm_judge، verify_citations، compare_runs، compare_traces اور evaluate_runs۔ verify_citations ٹول آؤٹ پٹ سے سائٹیشنز نکالتا ہے، SSRF-گارڈڈ ریزولور کے پیچھے سورسز لاتا ہے، اور LLM جج کا استعمال کرتا ہے تاکہ چیک کیا جا سکے کہ آیا ہر سورس سائٹڈ دعوے کی حمایت کرتا ہے۔ ایک ویب ڈیش بورڈ http://localhost:6920 پر دستیاب ہے، جو ناکامیوں کو سب سے خراب اور نیا پہلے ترتیب دیتا ہے۔ یہ ٹریس ویژولائزیشن، ایویلیویشن نتائج، لاگت کی تفصیل اور کمانڈ پیلٹ (Cmd+K) فراہم کرتا ہے جو رولز، ٹریسز اور ایویلیویشنز تلاش کرنے کے لیے ہے۔ ڈیش بورڈ HTTP انجسٹ اینڈ پوائنٹ (POST /api/v1/traces) بھی فراہم کرتا ہے تاکہ ماڈل کے بغیر ٹریسز کیپچر کیے جا سکیں، اور کیپبیلٹیز اینڈ پوائنٹ (GET /api/v1/capabilities) جو بیان کرتا ہے کہ سرور کیا جج کر سکتا ہے۔ CI/CD انٹیگریشن کے لیے، انجسٹ CLI کمانڈ stdin یا فائل سے JSON یا NDJSON ٹریسز پڑھتا ہے، انہیں ایویلیویٹ کرتا ہے، ہر ٹریس کے لیے ایک JSON لائن پرنٹ کرتا ہے جس میں فیصلہ ہوتا ہے، اور جب فیصلہ --fail-on فلٹر سے مماثل ہوتا ہے تو کوڈ 1 کے ساتھ باہر نکلتا ہے۔ یہ ایویلیویشن نتائج پر ایجنٹ ڈیپلائمنٹس کو گیٹ کرنے کے قابل بناتا ہے۔ کسٹم رولز ان لائن (فی evaluate_output کال میں 10 تک) یا deploy_rule کے ذریعے مستقل طور پر تعینات کیے جا سکتے ہیں۔ رول کی اقسام میں regex_match، regex_no_match، min_length، max_length، contains_keywords، excludes_keywords، json_schema اور cost_threshold شامل ہیں۔ تعینات رولز Iris ہوم ڈائریکٹری کے تحت custom-rules.json میں محفوظ رہتے ہیں اور مستقبل میں اپنی کیٹیگری کے ہر evaluate_output پر فائر ہوتے ہیں۔ سیوریٹی لیولز (کم، درمیانہ، زیادہ، کریٹیکل) اس بات کا تعین کرتے ہیں کہ آیا رول کی ناکامی ایویلیویشن کو ہارڈ-فیل کرتی ہے یا صرف اسکور کو متاثر کرتی ہے۔ پاسڈ فیصلہ ایک کمپوزر کے ذریعے طے ہوتا ہے جو ہر رول کو اس کے دعوے کی قسم سے پڑھتا ہے: کنفیگرڈ پالیسیاں گیٹ کرتی ہیں، کریٹیکل ڈیٹیکٹرز ویٹو کرتے ہیں، کریٹیکل چیکس جو جواب نہیں دے سکتے وہ نامعلوم فیصلہ پیدا کرتے ہیں، اور باقی ڈیٹیکٹرز ایک احتمال میں مل جاتے ہیں جسے کنفیگرڈ نقصان کے تناسب کے خلاف تولا جاتا ہے۔ حقیقی سیفٹی خلاف ورزیاں (no_pii، no_injection_patterns، no_blocklist_words) ڈیفالٹ طور پر ہارڈ-فیل ہوتی ہیں۔ ہر بلٹ ان رول کے لیے شائع شدہ پریسجن، ریکال اور F1 اسکورز 95% کانفیڈنس انٹرولز کے ساتھ ہیں، جو ریپوزٹری میں لیبلڈ کارپس پر ناپے گئے ہیں۔ CI ہر پل ریکویسٹ پر پیمائش دوبارہ چلاتا ہے اور اگر کمٹڈ نمبرز کوڈ سے پیدا ہونے والے نمبرز سے مختلف ہوں تو ناکام ہو جاتا ہے۔ Iris لوکل فرسٹ ہے: سب کچھ ڈسک پر SQLite میں رہتا ہے۔ آؤٹ باؤنڈ HTTP صرف وہاں ہوتا ہے جہاں آپ آپٹ ان کرتے ہیں — آپ کی اپنی LLM-جج کلید، سائٹیشن فیچنگ، یا OpenTelemetry ایکسپورٹر جو آپ کنفیگر کرتے ہیں۔ پروجیکٹ Docker ڈیپلائمنٹ کو دو پورٹس (3000 MCP HTTP ٹرانسپورٹ کے لیے، 6920 ڈیش بورڈ اور انجسٹ کے لیے) کے ساتھ سپورٹ کرتا ہے، اور Claude Desktop، Claude Code، Cursor، Windsurf، Continue، VS Code، Cline، Zed، Codex CLI، Gemini CLI اور کسی بھی دوسرے MCP-مطابق ایجنٹ کے ساتھ انٹیگریٹ ہوتا ہے۔