منصوبے کے بارے میں

SelfBench ایک پلیٹ فارم ہے جو کوڈنگ ایجنٹس اور ماڈلز کو صارف کے اپنے کوڈ بیس کے خلاف بینچ مارک کرنے کے لیے ہے۔ یہ مرجڈ پل ریکویسٹس سے ٹاسک حاصل کرتا ہے: ہر PR کے لیے، یہ تبدیلی سے پہلے کے کمٹ سے ریپوزٹری کی حالت دوبارہ بناتا ہے، PR کی اپنی درخواست کو ہدایت کے طور پر استعمال کرتا ہے، اور ایک مصنف ایجنٹ پوشیدہ ٹیسٹ اور حوالہ حل تیار کرتا ہے۔ ایک ٹاسک صرف اس وقت قبول کیا جاتا ہے جب ٹیسٹ بغیر حل کے ناکام ہوں، اصل نفاذ کے ساتھ پاس ہوں، دوبارہ چلانے پر دوبارہ پاس ہوں، اور آزاد جائزے سے گزریں؛ قبول شدہ ٹاسک مقامی ہاربر ٹاسک ہوتے ہیں۔ میزبان ویب ایپ GitHub سائن ان، ریپوزٹری کنکشن، آسان، درمیانے اور مشکل ٹاسکس کی بیچ جنریشن، یا منتخب PRs سے سنگل ٹاسک تخلیق کی حمایت کرتی ہے۔ بیچز گھنٹوں چل سکتے ہیں اور براؤزر بند ہونے کے بعد بھی جاری رہ سکتے ہیں۔ صارفین ہر ٹاسک کی ہدایت، ماحول، پوشیدہ ٹیسٹ، حوالہ پیچ، اور پائپ لائن آرٹیفیکٹس کا معائنہ کر سکتے ہیں، پھر اسے منظور یا مسترد کر سکتے ہیں۔ رنز ماڈلز، ہارنیسز، اور سینڈ باکس منتخب کرتے ہیں؛ نتائج لاگت کے مقابلے میں درستگی کا موازنہ کرتے ہیں اور ٹرائل ٹرانسکرپٹس اور اسکورز ظاہر کرتے ہیں۔ عوامی ریپوزٹری کے نتائج selfbench.dev پر شائع کیے جا سکتے ہیں۔ ماڈل اور سینڈ باکس تک رسائی SelfBench کے ذریعے بلنگ کے ساتھ منظم کی جا سکتی ہے، یا تنظیم کی ملکیت والی اسناد کے ذریعے فراہم کی جا سکتی ہے؛ API کلیدیں HTTP API پر اسکرپٹڈ رسائی فراہم کرتی ہیں۔ ایک حوالہ سیلف ہوسٹنگ تعیناتی GCP کو Cloud Run کے ساتھ API اور Temporal ورکر کے لیے، ہاربر جابز کے لیے اختیاری GKE Autopilot ورکرز، Cloud SQL، اور GCS کو نشانہ بناتی ہے۔ پروویژننگ Terraform، رن ٹائم سیکرٹس کے لیے Secret Manager، GitHub Actions ماحول، اور GitHub OAuth استعمال کرتی ہے۔ مقامی ترقی کے لیے Bun 1.3.14+ اور Docker Compose درکار ہے، اور API، ورکر، Temporal، Postgres، اور مقامی Docker سینڈ باکسز ایک ساتھ چلا سکتا ہے؛ فرنٹ اینڈ ترقی Vite ہاٹ ریلوڈ کی حمایت کرتی ہے۔ یہ پروجیکٹ MIT لائسنس یافتہ ہے۔