finai

Meridian.AI는 자동화된 지속 훈련을 통해 금융 중심 언어 모델을 개발하는 오픈소스 프로젝트입니다. GitHub Actions 무료 티어를 사용하여 매시간 Qwen2.5-0.5B 백본(494M 파라미터)을 미세 조정하며, HuggingFace에서 최신 체크포인트를 가져와 25개 이상의 금융 및 수학 데이터셋으로 훈련하고 업데이트를 다시 푸시합니다. 훈련 파이프라인은 Elastic Weight Consolidation(EWC)을 사용하여 치명적 망각을 완화하며, 16GB RAM 제한에 맞춘 메모리 안전 CPU 훈련(AdaFactor 옵티마이저, 그래디언트 체크포인팅, RAM 스로틀링)을 사용합니다. 저장소에는 실험용 사용자 정의 연구 아키텍처(Sparse MoE Transformer)가 포함되어 있지만, 배포된 모델은 표준 Qwen2.5 미세 조정 버전입니다. 추론 예제, 로컬 훈련 옵션, 환경 변수 구성, CI/CD 파이프라인 세부 정보, 데이터셋 커리큘럼, 문제 해결 지침 및 평가 스크립트를 제공합니다. 이 프로젝트는 투명성을 강조하며, perplexity 개선을 보여주지만 QA 정확도는 기본 모델과 동등함을 보여주는 정직한 벤치마크 비교를 포함합니다.