calibrax

Calibrax, abreviatura de Calibrate + JAX, es un marco de vista previa de investigación para el ecosistema JAX de ML científico, con métricas centrales de Nivel 0 validadas contra referencias de scikit-learn y SciPy con una tolerancia de 1e-6. Adopta una arquitectura de métricas de 4 niveles que abarca 20 dominios funcionales, incluidos casos de uso de regresión, clasificación, calibración, segmentación, distancia, divergencia, información, ranking, estadística, agrupamiento, equidad, pronóstico, incertidumbre, generativo, imagen, texto, audio, geométrico, grafos y variedades. Proporciona un MetricRegistry para el descubrimiento de métricas basado en axiomas, una jerarquía completa de distancias geométricas, métricas de grafos, y admite composición de métricas, envoltorios de intervalos de confianza bootstrap, envoltura por clase, seguimiento de métricas y pérdidas de aprendizaje de métricas con minería de negativos duros/semiduros. Sus capacidades de evaluación comparativa y perfilado incluyen medición de tiempos consciente del calentamiento que separa la compilación JIT, seguimiento de CPU/memoria/memoria de GPU/reloj/energía, medición de huella energética y de carbono, conteo de FLOP a nivel de XLA, análisis de rendimiento roofline, trazado de compilación XLA, análisis de complejidad algorítmica y detección automática de capacidades de hardware. También incluye herramientas de análisis estadístico integradas para intervalos de confianza bootstrap, pruebas de hipótesis, tamaños del efecto y detección de valores atípicos, detección de regresiones sensible a la dirección contra líneas base almacenadas, comparación entre configuraciones y análisis de frente de Pareto, validación de convergencia, almacenamiento de archivos JSON por ejecución con gestión de líneas base, integración con W&B y MLflow, salidas de tablas LaTeX/HTML/CSV listas para publicación y gráficos de matplotlib, puerta de regresión de CI con automatización de git bisect, alertas de monitoreo de producción con umbrales configurables y una interfaz de línea de comandos completa. Admite la instalación opcional de dependencias para monitoreo de GPU, complementos de calidad de imagen, complementos de calidad de texto y funciones de exportación para publicación, con múltiples scripts de Python ejecutables y ejemplos de cuadernos Jupyter que cubren niveles de uso desde principiante hasta avanzado.