finai

Meridian.AI 是一个开源项目，通过自动化持续训练开发面向金融领域的语言模型。它每小时使用 GitHub Actions 免费层对 Qwen2.5-0.5B 主干（4.94 亿参数）进行微调，从 HuggingFace 拉取最新检查点，在 25 个以上金融和数学数据集上训练，并将更新推送回去。训练流水线使用弹性权重巩固（EWC）来缓解灾难性遗忘，并采用内存安全的 CPU 训练，专为 16GB RAM 限制设计（AdaFactor 优化器、梯度检查点、RAM 限流）。该仓库包含用于实验的自定义研究架构（Sparse MoE Transformer），但部署的模型是标准 Qwen2.5 微调版本。它提供推理示例、本地训练选项、环境变量配置、CI/CD 流水线细节、数据集课程、故障排除指南和评估脚本。该项目强调透明度，包括诚实的基准比较，显示困惑度有所改善，但问答准确率与基础模型持平。