finai

Meridian.AI es un proyecto de código abierto que desarrolla un modelo de lenguaje enfocado en finanzas mediante entrenamiento continuo automatizado. Ajusta un modelo base Qwen2.5-0.5B (494M parámetros) cada hora utilizando el nivel gratuito de GitHub Actions, obteniendo el último checkpoint de HuggingFace, entrenando con más de 25 conjuntos de datos de finanzas y matemáticas, y enviando las actualizaciones de vuelta. El pipeline de entrenamiento utiliza Consolidación de Pesos Elásticos (EWC) para mitigar el olvido catastrófico, con entrenamiento en CPU seguro para memoria, diseñado para límites de 16GB de RAM (optimizador AdaFactor, checkpointing de gradientes, limitación de RAM). El repositorio incluye una arquitectura de investigación personalizada (Transformer MoE disperso) para experimentos, pero el modelo desplegado es Qwen2.5 estándar ajustado. Proporciona ejemplos de inferencia, opciones de entrenamiento local, configuración de variables de entorno, detalles del pipeline CI/CD, currículo de conjuntos de datos, guía de solución de problemas y scripts de evaluación. El proyecto enfatiza la transparencia, incluyendo comparaciones de benchmarks honestas que muestran mejoras en perplejidad pero precisión en QA a la par con el modelo base.