ওপেন সোর্স। নতুন সম্ভাবনা।

Google Cloud Knowledge Catalog (আগে Dataplex নামে পরিচিত) একটি AI-চালিত ডেটা ক্যাটালগ এবং মেটাডেটা ব্যবস্থাপনা প্ল্যাটফর্ম। এই রিপোজিটরিটি স্ট্রাকচার্ড এবং আনস্ট্রাকচার্ড ডেটার একটি ডাইনামিক নলেজ গ্রাফ ব্যবহার করে কনটেক্সট ম্যানেজমেন্ট, এনরিচমেন্ট এবং রিট্রিভাল সমাধান তৈরির জন্য টুল, এজেন্ট এবং নমুনা প্রদান করে।

Faiss হলো একটি C++ লাইব্রেরি যার Python র্যাপার রয়েছে, যা ঘন ভেক্টরের কার্যকরী সাদৃশ্য অনুসন্ধান এবং ক্লাস্টারিংয়ের জন্য ব্যবহৃত হয়; এটি CPU এবং GPU ইনডেক্স, কোয়ান্টাইজেশন এবং বিলিয়ন-স্কেল ডেটাসেট সমর্থন করে।

একটি বিস্তৃত ওপেন-সোর্স গাইড যা প্রম্পট ইঞ্জিনিয়ারিং, আরএজি, এআই এজেন্ট এবং এলএলএম অপ্টিমাইজেশনের কৌশলগুলি কভার করে। এতে বড় ভাষা মডেলের সাথে কার্যকরভাবে কাজ করার জন্য টিউটোরিয়াল, গবেষণা পত্র, টুল এবং নোটবুক অন্তর্ভুক্ত রয়েছে।

OpenViking হলো AI এজেন্টদের জন্য একটি ওপেন-সোর্স কনটেক্সট ডেটাবেস যা মেমরি, নলেজ RAG এবং স্কিলগুলোকে একটি ভার্চুয়াল ফাইল সিস্টেমের (viking://) অধীনে একীভূত করে। এটি স্তরভিত্তিক কনটেক্সট লোডিং, ডিরেক্টরি-স্কোপড রিট্রিভাল, সেশন-থেকে-মেমরি এক্সট্রাকশন, SDK, MCP ইন্টিগ্রেশন এবং একটি সেলফ-হোস্টেবল সার্ভার অফার করে।

LlamaIndex হলো একটি ওপেন-সোর্স ডেটা ফ্রেমওয়ার্ক যা প্রাইভেট ডেটার মাধ্যমে LLM-কে সমৃদ্ধ করে এজেন্টিক অ্যাপ্লিকেশন তৈরির জন্য ডিজাইন করা হয়েছে।

Elasticsearch একটি ডিস্ট্রিবিউটেড, RESTful সার্চ ও অ্যানালিটিক্স ইঞ্জিন এবং ভেক্টর ডেটাবেস। এটি ফুল-টেক্সট, ভেক্টর ও হাইব্রিড সার্চ, লগ, মেট্রিক্স, APM, সিকিউরিটি অ্যানালিটিক্স এবং RAG ব্যবহারের ক্ষেত্রে সমর্থন করে। এতে দ্রুত লোকাল Docker সেটআপ, API এবং Kibana অন্তর্ভুক্ত।

LangExtract হলো গুগলের একটি পাইথন লাইব্রেরি যা এলএলএম ব্যবহার করে অগঠিত পাঠ্য থেকে কাঠামোবদ্ধ তথ্য বের করে এবং প্রতিটি বেরকৃত অংশ মূল পাঠ্যের নির্দিষ্ট স্থানে গ্রাউন্ড করে

বাংলা এনএলপি সম্পদের একটি কমিউনিটি-রক্ষিত ক্যাটালগ — ১৩টি কাজ জুড়ে ৭১২টি গবেষণাপত্র, ৬৩টি ডেটাসেট, ২০টি মডেল এবং ৯টি টুল — কঠোর ডেটা যাচাই এবং ভাগযোগ্য ফিল্টার সহ একটি স্ট্যাটিক Astro সাইট হিসেবে নির্মিত।

অলসোর্স হল একটি এআই-নেটিভ ইভেন্ট স্টোর যা রাস্টে নির্মিত, উচ্চ-থ্রুপুট ইনজেশন, কম-লেটেন্সি রিড এবং এআই এজেন্টদের জন্য নেটিভ MCP ইন্টিগ্রেশন সমন্বিত। এটি পোস্টগ্রেস ছাড়াই টেকসই ইভেন্ট সোর্সিং সমর্থন করে, একটি এজেন্ট মেমরি ইঞ্জিন অন্তর্ভুক্ত করে এবং কমিউনিটি ও এন্টারপ্রাইজ সংস্করণ অফার করে।

সেন্টেন্স ট্রান্সফরমার একটি পাইথন ফ্রেমওয়ার্ক যা টেক্সট এমবেডিং, রিট্রিভাল এবং রির্যাঙ্কিংয়ের জন্য ব্যবহৃত হয়। এটি সেন্টেন্স ট্রান্সফরমার, ক্রস-এনকোডার, স্পার্স এনকোডার এবং মাল্টি-ভেক্টর মডেল সমর্থন করে এবং কাস্টম মডেল প্রশিক্ষণের সুবিধা দেয়।

Starbase is a web-based database and toolkit for exploring Starship transposable elements in fungi, offering sequence browsing, BLAST/HMMER search, submission, and visualization features.

AI ইঞ্জিনিয়ারিংয়ের ৯০+ হ্যান্ডস-অন টিউটোরিয়াল এবং প্রজেক্টের সংকলন, যা LLMs, RAG, এজেন্টস, MCP, মাল্টিমোডাল অ্যাপস, ফাইন-টিউনিং এবং ইভ্যালুয়েশন কভার করে, শুরু, মধ্যম এবং উন্নত স্তরে সাজানো।

বৃহৎ আকারের চীনা প্রাকৃতিক ভাষা প্রক্রিয়াকরণ কর্পাস, যা উইকিপিডিয়া, সংবাদ কর্পাস, বৈকি প্রশ্নোত্তর, কমিউনিটি প্রশ্নোত্তর এবং চীনা-ইংরেজি অনুবাদ কর্পাস সহ একাধিক উচ্চমানের ডেটাসেট অন্তর্ভুক্ত করে, চীনা NLP ক্ষেত্রের বিকাশ এবং বৃহৎ মডেল প্রি-ট্রেনিং উন্নয়নে সহায়তা করার লক্ষ্যে।

Lexos একটি ইভেন্ট-চালিত AI ডকুমেন্ট প্রসেসিং ইঞ্জিন, যা Go গেটওয়ে, Python ওয়ার্কার, Redis কিউ এবং সেলফ-হোস্টেড মডেল ব্যবহার করে অফলাইন RAG, সারাংশ এবং স্পিচ ট্রান্সক্রিপশন সক্ষম করে।

ParadeDB হলো একটি Postgres এক্সটেনশন যা ফুল-টেক্সট সার্চ, ভেক্টর রিট্রিভাল এবং অ্যানালিটিক্সকে একটি একক ডেটাবেসে একীভূত করে।

LEANN একটি লঘু ভেক্টর ডেটাবেস যা গ্রাফ-ভিত্তিক নির্বাচিত পুনর্গণনার মাধ্যমে সঞ্চয়স্থানের প্রয়োজনীয়তা ৯৭% পর্যন্ত কমিয়ে ব্যক্তিগত RAG অ্যাপ্লিকেশনের জন্য ডিজাইন করা হয়েছে।

PixelRAG একটি ওপেন-সোর্স ভিজ্যুয়াল RAG সিস্টেম যা নথিগুলোকে স্ক্রিনশট হিসেবে রেন্ডার করে এবং ছবির উপর সরাসরি অনুসন্ধান করে, ফলে টেবিল ও চার্টের মতো ভিজ্যুয়াল গঠন সংরক্ষিত থাকে। এতে হোস্টেড ৮.২৮ মিলিয়ন পৃষ্ঠার উইকিপিডিয়া ইনডেক্স, CLI টুল এবং Claude Code ইন্টিগ্রেশন অন্তর্ভুক্ত।

CocoIndex হলো একটি ওপেন-সোর্স ইনক্রিমেন্টাল ইনডেক্সিং ফ্রেমওয়ার্ক যা পরিবর্তিত ডেটা মাত্র পুনরায় প্রক্রিয়া করে AI এজেন্ট এবং LLM অ্যাপ্লিকেশনের জন্য ক্রমাগত সতেজ প্রসঙ্গ প্রদান করে।

MemPalace একটি লোকাল-ফার্স্ট এআই মেমরি সিস্টেম, যা কথোপকথন ও প্রকল্পের ইতিহাস হুবহু টেক্সট আকারে সংরক্ষণ করে এবং সারাংশ না করে সেমান্টিক সার্চের মাধ্যমে উদ্ধার করে। এতে প্লাগযোগ্য ব্যাকএন্ড, নলেজ গ্রাফ, এমসিপি সার্ভার ও কোডিং এজেন্টের জন্য সিএলআই হুক রয়েছে।

QMD একটি অন-ডিভাইস সার্চ ইঞ্জিন — মার্কডাউন নোট, ডকুমেন্টেশন ও মিটিং ট্রান্সক্রিপ্টের জন্য। BM25 কীওয়ার্ড সার্চ, ভেক্টর সেমান্টিক সার্চ ও LLM রির্যাংকিং একত্রিত করে, সবকিছু লোকালি node-llama-cpp দিয়ে চলে। CLI, SDK, MCP সার্ভার ও এজেন্টিক ওয়ার্কফ্লো সমর্থন করে JSON আউটপুট ও মেটাডেটা ফিল্টারিংসহ।