finai

Meridian.AI est un projet open source qui développe un modèle de langage axé sur la finance via un entraînement continu automatisé. Il affine un backbone Qwen2.5-0.5B (494M paramètres) toutes les heures en utilisant le niveau gratuit de GitHub Actions, en récupérant le dernier checkpoint depuis HuggingFace, en s'entraînant sur plus de 25 jeux de données de finance et de mathématiques, et en renvoyant les mises à jour. Le pipeline d'entraînement utilise Elastic Weight Consolidation (EWC) pour atténuer l'oubli catastrophique, avec un entraînement CPU sûr en mémoire conçu pour une limite de 16 Go de RAM (optimiseur AdaFactor, gradient checkpointing, limitation de la RAM). Le dépôt inclut une architecture de recherche personnalisée (Sparse MoE Transformer) pour les expériences, mais le modèle déployé est un Qwen2.5 standard affiné. Il fournit des exemples d'inférence, des options d'entraînement local, la configuration des variables d'environnement, les détails du pipeline CI/CD, le curriculum des jeux de données, des conseils de dépannage et des scripts d'évaluation. Le projet met l'accent sur la transparence, y compris des comparaisons de benchmarks honnêtes montrant des améliorations de perplexité mais une précision de QA au même niveau que le modèle de base.