ওপেন সোর্স। নতুন সম্ভাবনা।

PowerInfer হলো একটি লোকাল LLM ইনফারেন্স ইঞ্জিন যা অ্যাক্টিভেশন লোকালিটি ব্যবহার করে ঘন ঘন ব্যবহৃত “হট” নিউরনগুলো GPU-তে রাখে এবং ইনপুট-নির্ভর “কোল্ড” নিউরনগুলো CPU-তে গণনা করে। এটি হাইব্রিড বা CPU-only ইনফারেন্স, সার্ভিং, ব্যাচিং, পারপ্লেক্সিটি মূল্যায়ন, INT4 কোয়ান্টাইজেশন এবং PowerInfer GGUF মডেল সমর্থন করে।

YuE2 হলো একটি ওপেন মিউজিক জেনারেশন মডেল যা সিম্বলিক প্ল্যানিং এবং অডিও সিন্থেসিসকে একীভূত করে: এটি গানের কথা এবং স্টাইল প্রম্পটকে একটি এডিটযোগ্য মেলোডি-এবং-কর্ড স্কোরে রূপান্তরিত করে, তারপর ভোকাল এবং অ্যাকম্প্যানিমেন্টসহ একটি সম্পূর্ণ গান রেন্ডার করে। এটি জিরো-শট কভার এবং এজেন্টিক স্কোর এডিটিংও সমর্থন করে।

vLLM হলো একটি উচ্চ-থ্রুপুট এবং মেমরি-দক্ষ লাইব্রেরি যা Large Language Model (LLM) ইনফারেন্স এবং সার্ভিংয়ের জন্য ডিজাইন করা হয়েছে।

Repomix একটি সম্পূর্ণ রিপোজিটরিকে একক AI-সুবিধাজনক ফাইলে (XML, Markdown, JSON, অথবা প্লেইন টেক্সট) প্যাক করে, যাতে কোডবেসকে Claude, ChatGPT, এবং Gemini এর মতো LLM-এ ফিড করা যায়। এটি টোকেন গণনা, নিরাপত্তা চেক, কোড কম্প্রেশন এবং রিমোট রিপোজিটরি সমর্থন প্রদান করে।

Chinese-LLaMA-Alpaca একটি ওপেন সোর্স চীনা ভাষার বড় ভাষা মডেল প্রকল্প। এটি মূল LLaMA-তে চীনা শব্দভাণ্ডার যুক্ত করে পুনঃপ্রশিক্ষণ দেয় এবং নির্দেশ-টিউনড মডেল, LoRA ওজন, প্রশিক্ষণ/কোয়ান্টাইজেশন স্ক্রিপ্ট সরবরাহ করে, লোকাল CPU/GPU-তে চালানো যায়।

Unsloth হলো একটি ডেস্কটপ অ্যাপ্লিকেশন এবং ফ্রেমওয়ার্ক যার মাধ্যমে Windows, macOS এবং Linux-এ লোকালি লার্জ ল্যাঙ্গুয়েজ মডেল (LLMs) এবং ডিফিউশন মডেল চালানো ও ট্রেনিং করা যায়।

LocalAI একটি ওপেন-সোর্স, স্ব-হোস্টেড AI ইঞ্জিন যা CPU-মাত্র সহ যেকোনো हार्डवेयर पर LLM, visión, voice, image और video मॉडल चलाता है। यह OpenAI, Anthropic और ElevenLabs‑संगत API, ऑन‑डिमांड मॉड्यूलर बैकएंड, मल्टी‑यूजर प्रमाणीकरण, और RAG और MCP सहित बिल्ट‑इन एजेंट प्रदान करता है।

Oumi একটি ওপেন-সোর্স প্ল্যাটফর্ম যা ফাউন্ডেশন মডেলের সম্পূর্ণ জীবনচক্র কভার করে: ডেটা প্রস্তুতি, প্রশিক্ষণ ও ফাইন-টিউনিং (SFT, LoRA, QLoRA, GRPO), মূল্যায়ন, LLM জাজের মাধ্যমে ডেটা সংশ্লেষণ, এবং vLLM/SGLang-এর মাধ্যমে ডিপ্লয়মেন্ট, সাথে CLI এবং ক্লাউড জব লঞ্চিং সুবিধা।

UL-SMF হল দীর্ঘ-প্রসঙ্গ ট্রান্সফরমার ইনফারেন্সের জন্য একটি KV ক্যাশ কম্প্রেশন কাঠামো, যা FSQ এবং 16D ল্যাটেন্ট ম্যাপিংয়ের মাধ্যমে 384x পর্যন্ত কম্প্রেশন দাবি করে। মূল কম্প্রেশন লজিক একটি মালিকানাধীন বন্ধ-সোর্স বাইনারির উপর নির্ভরশীল।

LlamaFactory একটি পাইথন ফ্রেমওয়ার্ক যা ১০০+ বড় ভাষা ও মাল্টিমোডাল মডেলের দক্ষ ফাইন-টিউনিংয়ের জন্য, যেখানে জিরো-কোড CLI, Gradio Web UI, LoRA/QLoRA এবং একাধিক ট্রেনিং অ্যালগরিদম রয়েছে।

AstrBot একটি ওপেন-সোর্স এজেন্ট চ্যাটবট প্লাটফর্ম যা LLM এবং এজেন্ট ফ্রেমওয়ার্কগুলিকে প্রধান ইনস্ট্যান্ট মেসেজিং অ্যাপগুলির সাথে যুক্ত করে প্লাগইন এক্সটেনশন, ওয়েব ইউআই এবং স্যান্ডবক্স করা কার্যক্রম সহ।

Langchain-Chatchat হলো একটি ওপেন-সোর্স অফলাইন RAG ও Agent অ্যাপ্লিকেশন যা Langchain এবং ChatGLM, Qwen, Llama-এর মতো বড় ভাষা মডেলগুলোর ওপর ভিত্তি করে তৈরি। এটি লোকাল নলেজ বেস প্রশ্নোত্তর, মাল্টি-মডেল ইনফারেন্স ফ্রেমওয়ার্ক সংযোগ, WebUI এবং API সার্ভিস সাপোর্ট করে।

Ollama একটি টুল যা ব্যবহারকারীদের macOS, Windows এবং Linux-এ স্থানীয়ভাবে ওপেন-সোর্স লার্জ ল্যাঙ্গুয়েজ মডেলগুলি চালাতে, পরিচালনা করতে এবং তৈরি করতে সাহায্য করে।

একটি কমান্ড-লাইন উৎপাদনশীলতা টুল, AI LLM দ্বারা চালিত। এটি শেল কমান্ড, কোড স্নিপেট এবং ডকুমেন্টেশন তৈরি করে, চ্যাট/REPL মোড, কাস্টম রোল এবং ফাংশন কলিং সমর্থন করে। লিনাক্স, macOS এবং উইন্ডোজের সাথে সামঞ্জস্যপূর্ণ।

SGLang হলো লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) এবং মাল্টিমোডাল মডেলের জন্য একটি উচ্চ-ক্ষমতাসম্পন্ন সার্ভিং ফ্রেমওয়ার্ক, যা লো-ল্যাটেন্সি এবং হাই-থ্রুপুট ইনফারেন্সের জন্য ডিজাইন করা হয়েছে।

PocketRisu হল RisuAI থেকে ফর্ক করা একটি স্ব-হোস্টেড AI রোলপ্লে চ্যাট প্ল্যাটফর্ম, যা আপনাকে PC, ট্যাবলেট এবং স্মার্টফোন থেকে ওয়েব ব্রাউজারের মাধ্যমে অ্যাক্সেসযোগ্য একটি ব্যক্তিগত সার্ভার চালানোর অনুমতি দেয়।

Aider হলো একটি টার্মিনাল-ভিত্তিক AI পেয়ার প্রোগ্রামিং টুল যা ডেভেলপারদের নতুন প্রজেক্ট তৈরি করতে বা বিদ্যমান কোডবেস পরিবর্তন করতে LLM-এর সাথে সহযোগিতা করতে সাহায্য করে।