mesh-llm

Mesh LLM একটি ডিস্ট্রিবিউটেড ইনফারেন্স রানটাইম যা একাধিক মেশিনের GPU ও মেমোরি পুল করে এবং সেগুলোকে `http://localhost:9337/v1`-এ একটি একক OpenAI-সামঞ্জস্যপূর্ণ API এন্ডপয়েন্ট হিসেবে প্রকাশ করে। পোর্ট `3131`-এ একটি ওয়েব কনসোল পাওয়া যায়। ## মূল সক্ষমতা - **ডিস্ট্রিবিউটেড সার্ভিং:** কোনো মডেল একটি নোডে ফিট হলে তা লোকালি চলে। না হলে, Mesh LLM Skippy স্টেজ স্প্লিট ব্যবহার করে নোড জুড়ে লেয়ার রেঞ্জ ভাগ করে, এবং প্রতিটি স্টেজের প্রয়োজনীয় GGUF ফ্র্যাগমেন্ট কেবল লোড করে। - **Mesh রাউটিং:** প্রতিটি নোড একই `/v1` API প্রকাশ করে। ইনবাউন্ড রিকোয়েস্ট `model` ফিল্ড অনুযায়ী যে পিয়ার তা পরিবেশন করতে পারে সেখানে রাউট করা হয়। - **এনক্রিপ্টেড ট্রান্সপোর্ট:** পিয়ার-টু-পিয়ার ট্রাফিক, যার মধ্যে ইনফারেন্স রিকোয়েস্ট ও স্প্লিট-মডেল অ্যাক্টিভেশন রয়েছে, QUIC-এর মাধ্যমে এন্ড-টু-এন্ড এনক্রিপ্টেড। Iroh রিলে পেলোড পরিদর্শন না করেই প্যাকেট ফরওয়ার্ড করে। - **পাবলিক ও প্রাইভেট মেশ:** প্রকাশিত মেশগুলো Nostr ডিসকভারির মাধ্যমে বিজ্ঞাপন দেয়; প্রাইভেট মেশগুলো ইনভাইট টোকেন ব্যবহার করে। - **Mixture-of-Agents গেটওয়ে (পরীক্ষামূলক):** `model: "mesh"` সহ রিকোয়েস্ট মেশের প্রতিটি মডেলে সমান্তরালে ফ্যান আউট হয়, ডিটারমিনিস্টিক লজিক দিয়ে রেসপন্স একত্র করে, এবং একটি একক OpenAI-সামঞ্জস্যপূর্ণ উত্তর ফেরত দেয়। - **প্লাগইন সাপোর্ট:** ঐচ্ছিক Flash-MoE SSD ব্যাকএন্ড বড় MoE মডেলের জন্য এক্সপার্ট-স্ট্রিমিং সক্ষম করে। ## সমর্থিত মডেল Skippy রানটাইম llama.cpp ফ্যামিলি প্যারিটি ট্র্যাক করে। সার্টিফায়েড ফ্যামিলির মধ্যে রয়েছে Qwen, Llama, Gemma, Mistral, DeepSeek, GLM, MiniMax, Phi, Granite, Hunyuan, EXAONE, Cohere, Falcon, RWKV এবং অন্যান্য। মাল্টিমোডাল স্প্লিটিং Qwen2-VL, Qwen3-VL, Qwen3-VL-MoE, HunyuanOCR/Hunyuan-VL এবং DeepSeek-OCR-এর জন্য সার্টিফায়েড। ## ইনস্টল ও রান এক-লাইন স্ক্রিপ্টের মাধ্যমে ইনস্টল করুন: ``` bash <(curl -fsSL https://raw.githubusercontent.com/Mesh-LLM/mesh-llm/main/install.sh) ``` Windows: `irm ... | iex` অথবা macOS-এ `brew install Mesh-LLM/tap/mesh-llm`। কুইক স্টার্ট: ``` mesh-llm setup mesh-llm serve --auto ``` `--auto` একটি ব্যাকএন্ড ফ্লেভার বেছে নেয়, উপযুক্ত মডেল ডাউনলোড করে, একটি আবিষ্কৃত পাবলিক মেশে যোগ দেয়, এবং API ও ওয়েব কনসোল উভয়ই চালু করে। অন্যান্য ওয়ার্কফ্লো: - প্রাইভেট মেশ: `mesh-llm serve --model Qwen3-8B-Q4_K_M` - শুধু লোকাল (মেশ ছাড়া): `mesh-llm serve --local-model-only --gguf /models/model.gguf` - নিজের মেশ প্রকাশ করুন: `mesh-llm serve --model Qwen3-8B-Q4_K_M --publish` - টোকেন দিয়ে যোগ দিন: `mesh-llm serve --join <token>` - সার্ভার/হেডলেস: ওয়েব UI লুকাতে `--headless` যোগ করুন ## রানটাইম ব্যাকএন্ড ট্যাগড রিলিজগুলো macOS (Metal), Linux (CPU, ARM64 CPU, CUDA, CUDA Blackwell, ROCm, Vulkan) এবং Windows (CPU, CUDA, ROCm, Vulkan)-এর জন্য বান্ডেল সরবরাহ করে। পোর্টেবল আর্কাইভ ইউজার ক্যাশে দেখার আগে পাশের `native-runtimes/` ট্রি আবিষ্কার করে অফলাইনে কাজ করে। `just build` দিয়ে সোর্স থেকে বিল্ড করুন; প্রয়োজন `just`, `cmake`, Rust, `sccache`, একটি দ্রুত লিংকার (Linux-এ `mold`, অন্যত্র `lld`), এবং Node.js 24 + npm। ## এজেন্ট ইন্টিগ্রেশন Mesh LLM জনপ্রিয় এজেন্ট ফ্রেমওয়ার্কের জন্য পাতলা র্যাপার সরবরাহ করে — `mesh-llm goose`, `mesh-llm opencode`, `mesh-llm claude`, `mesh-llm pi` — যাতে তারা লোকাল OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের মাধ্যমে সংযোগ করে। ## ডকস - [docs/USAGE.md](docs/USAGE.md) — অপারেশনাল গাইড - [docs/CLI.md](docs/CLI.md) — কমান্ড রেফারেন্স - [docs/MESHES.md](docs/MESHES.md) — মেশ জয়েন/পাবলিশ ওয়ার্কফ্লো - [docs/SKIPPY_SPLITS.md](docs/SKIPPY_SPLITS.md) — বড়-মডেল স্প্লিটিং - [docs/AGENTS.md](docs/AGENTS.md) — এজেন্ট ফ্রেমওয়ার্ক ইন্টিগ্রেশন - [docs/skippy/FAMILY_STATUS.md](docs/skippy/FAMILY_STATUS.md) — সার্টিফায়েড মডেল-ফ্যামিলি ম্যাট্রিক্স