ওপেন সোর্স। নতুন সম্ভাবনা।

একটি ছোট GPT ভাষা মডেল (~৫৪০M প্যারামিটার) যা ভোক্তা ল্যাপটপ হার্ডওয়্যারে স্ক্র্যাচ থেকে প্রশিক্ষণের জন্য ডিজাইন করা হয়েছে, সাথে Fineweb-edu-তে প্রিট্রেনিং এবং চ্যাট ফাইনটিউনিং ক্ষমতা রয়েছে।

মাইক্রো-ইউ (BettaFish) একটি স্ক্র্যাচ থেকে তৈরি মাল্টি-এজেন্ট পাবলিক ওপিনিয়ন বিশ্লেষণ সিস্টেম, যা AI ক্রলার ক্লাস্টার, মাল্টিমোডাল বিশ্লেষণ, ফোরাম সহযোগিতা প্রক্রিয়া এবং বুদ্ধিমান রিপোর্ট তৈরি করে তথ্য বুদ্বুদ ভাঙতে, মতামতের প্রকৃত চিত্র পুনরুদ্ধার করতে এবং সিদ্ধান্ত সমর্থন করতে সাহায্য করে। এটি ৩০+ সামাজিক মিডিয়া, প্রাইভেট ডেটাবেস, পিওর পাইথন মডিউলার ডিজাইন এবং ডকার ডিপ্লয়মেন্ট সমর্থন করে।

প্রথম নীতি বা ফার্স্ট প্রিন্সিপাল থেকে তৈরি একটি বিনামূল্যে, ওপেন-সোর্স এআই ইঞ্জিনিয়ারিং কারিকুলাম: ২০টি ধাপে ৫২৩টি পাঠ (~৩৪২ ঘন্টা), যাতে Python, TypeScript, Rust, এবং Julia-তে গণিত থেকে প্রোডাকশন পর্যন্ত কভার করা হয়েছে। প্রতিটি পাঠে একটি পুনর্ব্যবহারযোগ্য প্রম্পট, স্কিল, এজেন্ট বা MCP সার্ভার শিপ করা হয়; এতে একটি ইনস্টলযোগ্য এআই টিউটর এবং Claude সার্টিফিকেশনের প্রস্তুতি অন্তর্ভুক্ত রয়েছে।

১০৭টি মৌলিক জেনারেটিভ এআই গবেষণাপত্রের সংকলন, যাতে রয়েছে বিস্তারিত সারাংশ, শেখার রোডম্যাপ, শব্দকোষ এবং সিদ্ধান্ত নির্দেশিকা—সব স্তরের পাঠকদের জন্য অত্যাধুনিক এআই গবেষণাকে সহজলভ্য করে তোলে।

Chinese-LLaMA-Alpaca একটি ওপেন সোর্স চীনা ভাষার বড় ভাষা মডেল প্রকল্প। এটি মূল LLaMA-তে চীনা শব্দভাণ্ডার যুক্ত করে পুনঃপ্রশিক্ষণ দেয় এবং নির্দেশ-টিউনড মডেল, LoRA ওজন, প্রশিক্ষণ/কোয়ান্টাইজেশন স্ক্রিপ্ট সরবরাহ করে, লোকাল CPU/GPU-তে চালানো যায়।

NLTK হলো Natural Language Processing-এর গবেষণা এবং উন্নয়নের জন্য ডিজাইন করা ওপেন-সোর্স Python মডিউল, ডেটাসেট এবং টিউটোরিয়ালের একটি বিস্তৃত স্যুট।

সেম্যান্টিক সার্চ, LLM অর্কেশন এবং ভাষা মডেল কাজের জন্য একটি অল-ইন-ওয়ান এআই ফ্রেমওয়ার্ক।

Swift Tokenizers হলো Hugging Face-এর Rust tokenizers crate-এর একটি উচ্চ-কর্মক্ষমতা Swift র্যাপার, যা শুধু টোকেনাইজেশনে মনোযোগ দেয় এবং Hub-নির্ভরতা ছাড়াই কাজ করে। এটি macOS, iOS ও Linux সমর্থন করে, encoding, decoding, streaming detokenization, chat templates ও tool calling সুবিধা দেয়।

HanLP একটি প্রোডাকশন-গ্রেড বহুভাষিক NLP টুলকিট, PyTorch ও TensorFlow 2.x-ভিত্তিক। এটি টোকেনাইজেশন, POS ট্যাগিং, NER, সিনট্যাক্স ও সেম্যান্টিক বিশ্লেষণ সমর্থন করে এবং RESTful ও native API প্রদান করে।

Premove ITN একটি ওপেন-সোর্স, প্রসঙ্গ-সচেতন ইনভার্স টেক্সট নরমালাইজেশন টুল, যা ইংরেজি ভয়েস-এজেন্ট ট্রান্সক্রিপ্টের জন্য। এটি DeBERTa কনটেক্সচুয়াল স্কোরিং সহ জেনারেট-স্কোর-ডিকোড পাইপলাইন ব্যবহার করে কথ্য ASR আউটপুটকে ক্যানোনিকাল লিখিত ফর্মে রূপান্তর করে।

LlamaFactory একটি পাইথন ফ্রেমওয়ার্ক যা ১০০+ বড় ভাষা ও মাল্টিমোডাল মডেলের দক্ষ ফাইন-টিউনিংয়ের জন্য, যেখানে জিরো-কোড CLI, Gradio Web UI, LoRA/QLoRA এবং একাধিক ট্রেনিং অ্যালগরিদম রয়েছে।

ModelScope একটি ওপেন-সোর্ পাইথন লাইব্রেরি যা Model-as-a-Service বাস্তবায়ন করে; CV, NLP, অডিও, মাল্টি-মোডাল ও সায়েন্টিফিক মডেলের ইনফারেন্স, ফাইন-টিউনিং ও মূল্যায়নের জন্য ইউনিফায়েড pipeline, Trainer ও MsDataset ইন্টারফেস এবং মডেল/ডেটাসেট হাব ইন্টিগ্রেশন প্রদান করে।

AskNews-এর অফিসিয়াল Python SDK যা যেকোনো LLM-এ এক লাইনের কোডে রিয়েল-টাইম খবরের প্রসঙ্গ যোগ করে। এটি খবর অনুসন্ধান, ইভেন্ট ট্র্যাকিং, পূর্বাভাস, বিশ্লেষণ, গভীর গবেষণা, নলেজ গ্রাফ এবং ওয়েব অনুসন্ধানের এন্ডপয়েন্ট সরবরাহ করে।

মাইক্রোসফটের "কিডস ফর বিগিনার্স" হলো একটি বিনামূল্যে, ওপেন-সোর্স পাঠ্যক্রম যা ১২ সপ্তাহ এবং ২৪টি পাঠের মাধ্যমে কৃত্রিম বুদ্ধিমত্তার (AI) মৌলিক বিষয়গুলো শেখায়। এতে নিউরাল নেটওয়ার্ক, ডিপ লার্নিং, কম্পিউটার ভিশন, এনএলপি, ট্রান্সফর্মার, নৈতিকতা এবং হ্যান্ডস-অন নোটবুক, কোজ এবং ল্যাব অন্তর্ভুক্ত রয়েছে।

Hugging Face Transformers হলো টেক্সট, ভিশন, অডিও এবং মাল্টিমোডাল টাস্কের জন্য একটি মেশিন লার্নিং মডেল-ডেফিনিশন ফ্রেমওয়ার্ক। এটি ১ মিলিয়নেরও বেশি প্রি-ট্রেইনড চেকপয়েন্টের সাথে ইনফারেন্স এবং ট্রেনিংয়ের জন্য একটি ইউনিফাইড API প্রদান করে।

GiellaLT প্রকল্পের অংশ হিসেবে কোমি-জিরিয়ান ভাষার জন্য ফিনিট স্টেট এবং কনস্ট্রেইন্ট গ্রামার ভিত্তিক রূপতাত্ত্বিক বিশ্লেষক, প্রুফিং টুল এবং ভাষা সংস্থান।

LangExtract হলো গুগলের একটি পাইথন লাইব্রেরি যা এলএলএম ব্যবহার করে অগঠিত পাঠ্য থেকে কাঠামোবদ্ধ তথ্য বের করে এবং প্রতিটি বেরকৃত অংশ মূল পাঠ্যের নির্দিষ্ট স্থানে গ্রাউন্ড করে

ওপেন-সোর্স ফিনিশ ভাষার রিসোর্স এবং টুল, যা ফিনিট স্টেট ট্রান্সডিউসার এবং কনস্ট্রেইন্ট গ্রামারের উপর ভিত্তি করে তৈরি। এতে ডেস্কটপ ও মোবাইল প্ল্যাটফর্মের জন্য মরফোলজিক্যাল বিশ্লেষক, বানান পরীক্ষক এবং প্রুফিং টুল অন্তর্ভুক্ত।

বাংলা এনএলপি সম্পদের একটি কমিউনিটি-রক্ষিত ক্যাটালগ — ১৩টি কাজ জুড়ে ৭১২টি গবেষণাপত্র, ৬৩টি ডেটাসেট, ২০টি মডেল এবং ৯টি টুল — কঠোর ডেটা যাচাই এবং ভাগযোগ্য ফিল্টার সহ একটি স্ট্যাটিক Astro সাইট হিসেবে নির্মিত।

TextBlob একটি পাইথন লাইব্রেরি যা প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য সহজ API প্রদান করে, যার মধ্যে রয়েছে অনুভূতি বিশ্লেষণ, অংশ-অফ-স্পিচ ট্যাগিং, বিশেষ্য বাক্যাংশ নিষ্কাশন, শ্রেণীবিভাগ, টোকেনাইজেশন ইত্যাদি, যা NLTK এবং pattern-এর উপর নির্মিত।