finai

Meridian.AI é um projeto de código aberto que desenvolve um modelo de linguagem focado em finanças por meio de treinamento contínuo automatizado. Ele ajusta um backbone Qwen2.5-0.5B (494M parâmetros) a cada hora usando o nível gratuito do GitHub Actions, puxando o checkpoint mais recente do HuggingFace, treinando em mais de 25 conjuntos de dados de finanças e matemática e enviando atualizações de volta. O pipeline de treinamento usa Elastic Weight Consolidation (EWC) para mitigar o esquecimento catastrófico, com treinamento em CPU seguro para memória projetado para limites de 16GB de RAM (otimizador AdaFactor, gradient checkpointing, limitação de RAM). O repositório inclui uma arquitetura de pesquisa personalizada (Sparse MoE Transformer) para experimentos, mas o modelo implantado é o Qwen2.5 padrão ajustado. Ele fornece exemplos de inferência, opções de treinamento local, configuração de variáveis de ambiente, detalhes do pipeline de CI/CD, currículo de conjuntos de dados, orientações de solução de problemas e scripts de avaliação. O projeto enfatiza a transparência, incluindo comparações honestas de benchmarks mostrando melhorias de perplexidade, mas precisão de QA em paridade com o modelo base.