self-bench

SelfBench es una plataforma para evaluar agentes y modelos de programación frente al propio código base del usuario. Deriva tareas de solicitudes de extracción fusionadas: para cada PR, reconstruye el estado del repositorio desde el commit anterior al cambio, usa la propia solicitud del PR como instrucción y hace que un agente de autoría produzca pruebas ocultas y una solución de referencia. Una tarea solo se acepta cuando las pruebas fallan sin solución, pasan con la implementación original, vuelven a pasar al reejecutarse y sobreviven a una revisión independiente; las tareas aceptadas son tareas nativas de Harbor. La aplicación web alojada admite inicio de sesión con GitHub, conexión de repositorios, generación por lotes de tareas fáciles, medias y difíciles, o creación de una sola tarea a partir de PR seleccionados. Los lotes pueden ejecutarse durante horas y continuar después de cerrar el navegador. Los usuarios pueden inspeccionar la instrucción, el entorno, las pruebas ocultas, el parche de referencia y los artefactos del pipeline de cada tarea, y luego aprobarla o rechazarla. Las ejecuciones seleccionan modelos, harnesses y un sandbox; los resultados comparan precisión frente a coste y exponen transcripciones de intentos y puntuaciones. Los resultados de repositorios públicos pueden publicarse en selfbench.dev. El acceso a modelos y sandboxes puede gestionarlo SelfBench con facturación, o suministrarse mediante credenciales propiedad de la organización; las claves de API proporcionan acceso programado a través de una API HTTP. Un despliegue de referencia autoalojado está orientado a GCP con Cloud Run para la API y el worker de Temporal, workers opcionales de GKE Autopilot para trabajos de Harbor, Cloud SQL y GCS. El aprovisionamiento usa Terraform, Secret Manager para secretos en tiempo de ejecución, entornos de GitHub Actions y GitHub OAuth. El desarrollo local requiere Bun 1.3.14+ y Docker Compose, y puede ejecutar juntos la API, el worker, Temporal, Postgres y sandboxes Docker locales; el desarrollo del frontend admite recarga en caliente de Vite. El proyecto tiene licencia MIT.