इस प्रोजेक्ट के बारे में

Mithril एक ओपन-सोर्स मल्टी-मॉडल ऑर्केस्ट्रेशन इंजन है जो Rust में लिखा गया है (Python CLI रैपर के साथ) जो कई LLM प्रदाताओं को एक एकीकृत API एंडपॉइंट में जोड़ता है। इस परियोजना का मुख्य मूल्य प्रस्ताव प्रत्येक AI प्रदाता के लिए अलग-अलग एकीकरण प्रबंधित करने की आवश्यकता को समाप्त करना है: उपयोगकर्ता YAML कॉन्फ़िगरेशन फ़ाइल में एक 'फ़ेलोशिप' — AI मॉडलों की एक टीम — परिभाषित करते हैं, फिर किसी भी Ollama-संगत या OpenAI-संगत क्लाइंट को Mithril के API पर इंगित करते हैं। ऑर्केस्ट्रेशन इंजन तीन प्रकार के प्रदाताओं का समर्थन करता है: स्थानीय GGUF मॉडल (llama.cpp के माध्यम से, मुफ्त और निजी), क्लाउड API प्रदाता (Gemini, OpenAI, Anthropic, Groq), और CLI टूल (Kiro, Junie, GitHub Copilot, या कोई भी CLI जिसकी अपनी मॉडल पहुंच हो)। एक स्थानीय GGUF मॉडल डिफ़ॉल्ट नियंत्रक/राउटर के रूप में कार्य करता है, आने वाले अनुरोधों को वर्गीकृत करता है और फ़ेलोशिप कॉन्फ़िगरेशन के आधार पर उन्हें उपयुक्त एजेंट को सौंपता है। एजेंट NEXT/TASK प्रोटोकॉल के माध्यम से संवाद करते हैं, जिससे वे एक-दूसरे को काम सौंप सकते हैं — उदाहरण के लिए, एक कोडर एजेंट कोड समीक्षा के लिए समीक्षक एजेंट को कार्य सौंप सकता है। सिस्टम एक साथ तीन API प्रोटोकॉल उजागर करता है: Ollama API (Junie, OpenCode, Open WebUI जैसे टूल के लिए), OpenAI-संगत API (LangChain, LlamaIndex और कस्टम Python क्लाइंट के लिए), और Claude Desktop एकीकरण के लिए MCP (Model Context Protocol)। इसका मतलब है कि मौजूदा AI टूलिंग बिना संशोधन के Mithril से जुड़ सकती है — बस आधार URL बदलें। Mithril में 24 अंतर्निहित टूल शामिल हैं जिनमें फ़ाइल संचालन (read, write, edit, delete, apply_patch), टर्मिनल निष्पादन (सैंडबॉक्स्ड), फ़ाइल खोज (list, grep, find, glob, stats), Git एकीकरण (status, log, diff, blame, branch), वेब एक्सेस (search, fetch), कोड विश्लेषण (प्रतीक खोज, दस्तावेज़ रूपरेखा), ज्ञान प्रबंधन (lore write/read), और इंटरैक्शन (todo, question) शामिल हैं। एजेंटों को फ़ेलोशिप YAML के माध्यम से विशिष्ट टूल या सभी टूल तक पहुंच दी जा सकती है। स्थापना लचीली है: Linux/macOS के लिए एक-लाइनर शेल स्क्रिप्ट, Python/Jupyter वातावरण के लिए pip install, macOS/Linux के लिए Homebrew tap, सभी प्रमुख प्लेटफार्मों के लिए स्टैंडअलोन प्री-बिल्ट बाइनरी (Linux x86_64/ARM64, macOS Apple Silicon/Intel, Windows x86_64), Docker (एकल कंटेनर या Docker Compose), और Cargo के साथ स्रोत से निर्माण। API कुंजियाँ स्थानीय कॉन्फ़िग फ़ाइल में Argon2id + AES-256-GCM के साथ एन्क्रिप्टेड संग्रहीत की जाती हैं, या Docker/CI परिनियोजन के लिए पर्यावरण चर के माध्यम से पारित की जाती हैं। CLI में टैब पूर्णता के साथ एक इंटरैक्टिव REPL, पूर्ण-स्क्रीन TUI मोड, CI/स्क्रिप्ट के लिए गैर-इंटरैक्टिव निष्पादन, फ़ाइल विस्तार (@file), एजेंट रूटिंग (#agent), योजना/निर्माण मोड, पूर्ववत/फिर से करें, सत्र स्थिरता, कस्टम कमांड और हुक शामिल हैं। टेलीग्राम के माध्यम से उसी फ़ेलोशिप के साथ चैट करने के लिए एक टेलीग्राम बॉट मोड भी उपलब्ध है। उपयोग के मामलों में AI कोडिंग सहायकों (Junie, OpenCode) के लिए बैकएंड के रूप में सेवा करना, Docker के माध्यम से टीमों के लिए एक साझा ऑर्केस्ट्रेशन बैकएंड, pip के माध्यम से Python डेटा साइंस एकीकरण, और Claude Desktop के लिए एक MCP सर्वर शामिल है। आर्किटेक्चर extensibility के लिए डिज़ाइन किया गया है — फ़ेलोशिप कॉन्फ़िगरेशन सिस्टम के माध्यम से नए प्रदाता, टूल और एजेंट प्रकार जोड़े जा सकते हैं।