इस प्रोजेक्ट के बारे में

Meridian.AI एक ओपन-सोर्स प्रोजेक्ट है जो स्वचालित निरंतर प्रशिक्षण के माध्यम से वित्त-केंद्रित भाषा मॉडल विकसित करता है। यह हर घंटे GitHub Actions के मुफ्त टियर का उपयोग करके Qwen2.5-0.5B बैकबोन (494M पैरामीटर) को फाइन-ट्यून करता है, HuggingFace से नवीनतम चेकपॉइंट खींचता है, 25+ वित्त और गणित डेटासेट पर प्रशिक्षण देता है, और अपडेट वापस भेजता है। प्रशिक्षण पाइपलाइन भूलने की समस्या को कम करने के लिए Elastic Weight Consolidation (EWC) का उपयोग करती है, जिसमें 16GB RAM सीमाओं के लिए मेमोरी-सुरक्षित CPU प्रशिक्षण (AdaFactor ऑप्टिमाइज़र, ग्रेडिएंट चेकपॉइंटिंग, RAM थ्रॉटलिंग) शामिल है। रिपॉजिटरी में प्रयोगों के लिए एक कस्टम शोध आर्किटेक्चर (Sparse MoE Transformer) शामिल है, लेकिन तैनात मॉडल मानक Qwen2.5 फाइन-ट्यून है। यह इन्फ्रेंस उदाहरण, स्थानीय प्रशिक्षण विकल्प, पर्यावरण चर कॉन्फ़िगरेशन, CI/CD पाइपलाइन विवरण, डेटासेट पाठ्यक्रम, समस्या निवारण मार्गदर्शन और मूल्यांकन स्क्रिप्ट प्रदान करता है। प्रोजेक्ट पारदर्शिता पर जोर देता है, जिसमें ईमानदार बेंचमार्क तुलनाएं शामिल हैं जो पर्प्लेक्सिटी में सुधार दिखाती हैं लेकिन QA सटीकता बेस मॉडल के बराबर है।