প্রকল্প সম্পর্কে

Xberg হল একটি পলিগ্লট ডকুমেন্ট-ইন্টেলিজেন্স ইঞ্জিন যা একটি Rust কোরের চারপাশে নির্মিত। এটিকে একটি PDF, স্ক্যান করা ছবি, স্প্রেডশিট, অডিও ফাইল, URL, আর্কাইভ বা সোর্স ট্রির দিকে নির্দেশ করুন এবং এটি পরিষ্কার টেক্সট, টেবিল, মেটাডেটা এবং স্ট্রাকচার্ড ডেটা ফেরত দেবে। ফরম্যাট সনাক্তকরণ, পড়া, OCR এবং এক্সট্রাকশন আলাদা লাইব্রেরি থেকে একত্রিত না করে একটি ইঞ্জিন দ্বারা পরিচালিত হয়। কভারেজ এবং ক্ষমতা - ফরম্যাট: README-তে ১৪১টি ফাইল এক্সটেনশন এবং ৫৬টি MIME অ্যালিয়াস জুড়ে ১০৭টি ফরম্যাটের দাবি করা হয়েছে, যার মধ্যে রয়েছে অফিস ডকুমেন্ট (Word, Excel, PowerPoint, OpenDocument, Apple iWork, Hangul HWP/HWPX), PDF, ই-বুক (EPUB, FB2), ডেটাবেস (DBF, SQLite, GeoPackage), রাস্টার এবং উন্নত ছবি (PNG, JPEG, TIFF, JPEG2000, JBIG2, HEIC/AVIF, SVG), অডিও এবং ভিডিও ট্র্যাক (MP3, M4A, WAV, WebM, MP4/MPEG অডিও ট্র্যাক), ওয়েব এবং স্ট্রাকচার্ড ডেটা (HTML, XML, JSON, YAML, TOML, CSV), টেক্সট এবং Markdown ভ্যারিয়েন্ট (AsciiDoc, CommonMark, MyST, Quarto, Djot, MDX, DocTags, reStructuredText, Org), ইমেইল (EML, MSG, PST), আর্কাইভ (ZIP, TAR, GZ, 7z), এবং একাডেমিক ফরম্যাট (BibTeX, RIS, EndNote, LaTeX, Typst, JATS, Jupyter নোটবুক, DocBook, OPML)। - কোড ইন্টেলিজেন্স: tree-sitter-এর মাধ্যমে ৩৭১টি প্রোগ্রামিং ভাষা থেকে স্ট্রাকচার, ইমপোর্ট, সিম্বল এবং ডকস্ট্রিং, সাথে RAG পাইপলাইনের জন্য সিনট্যাক্স-সচেতন চাঙ্কিং। - OCR: Tesseract, PaddleOCR, Candle বা VLM ব্যাকএন্ড, ফলব্যাক চেইন, কনফিডেন্স স্কোর এবং ভাষা অটো-ডিটেকশন সহ। - লেআউট এবং টেবিল: ML লেআউট মডেল (PP-DocLayout-V3, RT-DETR) এবং টেবিল-স্ট্রাকচার মডেল (TATR, SLANet) পড়ার ক্রম এবং সেল গ্রিড পুনর্গঠন করে। - এনরিচমেন্ট: NER, কীওয়ার্ড এক্সট্রাকশন (YAKE/RAKE), সারসংক্ষেপ, অনুবাদ, PII রিডাকশন, পেজ ক্লাসিফিকেশন, QR ডিটেকশন, ভাষা সনাক্তকরণ এবং একটি TOON টোকেন-রিডাকশন ফরম্যাট। - এমবেডিং এবং সার্চ: লোকাল ONNX এমবেডিং বা প্রোভাইডার-হোস্টেড এমবেডিং, স্পার্স এবং লেট-ইন্টারঅ্যাকশন রিট্রিভাল এবং ক্রস-এনকোডার রির‍্যাঙ্কিং। - স্ট্রাকচার্ড এক্সট্রাকশন: লোকাল ইঞ্জিন (Ollama, LM Studio, vLLM) বা হোস্টেড LLM প্রোভাইডার ব্যবহার করে ডকুমেন্ট থেকে স্কিমা-চালিত JSON। - আউটপুট: প্লেইন টেক্সট, Markdown, Djot, HTML, JSON ট্রি বা Docling DocTags, সাথে কাস্টম রেন্ডারার। ইন্টারফেস এবং ডিপ্লয়মেন্ট পনেরোটি বাইন্ডিং তালিকাভুক্ত: Rust, Python, Node.js, WebAssembly, Java, Go, C#, PHP, Ruby, Elixir, Dart, Kotlin (Android), Swift, Zig এবং C FFI। ডিপ্লয়মেন্ট অপশনের মধ্যে রয়েছে একটি লাইব্রেরি API, ১৪টি কমান্ডসহ একটি CLI (extract, batch, detect, formats, version, cache, tree-sitter, doctor, serve, mcp, api, embed, chunk, completions), `xberg serve`-এর মাধ্যমে একটি REST API সার্ভার, Claude Desktop, Cursor এবং অনুরূপ ক্লায়েন্টের জন্য ৯টি টুল, ৩টি প্রম্পট এবং ৪টি রিসোর্সসহ একটি MCP সার্ভার, সাথে Docker এবং Helm প্যাকেজিং। README-তে ডিফল্টভাবে CPU-অনলি অপারেশন, কনটেন্ট-হ্যাশ ক্যাশিং, প্যারালাল ব্যাচ প্রসেসিং এবং প্রতি-ফাইল টাইমআউট উল্লেখ করা হয়েছে। নোট কিছু ক্ষমতা Cargo ফিচার ফ্ল্যাগের পেছনে গেটেড (url-ingestion, transcription, reranker, layout/ORT); প্রিবিল্ট প্যাকেজ এবং Docker ইমেজ একটি সাধারণ সেট বান্ডেল করে। প্রকল্পটি নিজেকে Kreuzberg-এর উত্তরসূরি হিসেবে বর্ণনা করে এবং MIT লাইসেন্সপ্রাপ্ত। README-তে পারফরম্যান্স এবং বেঞ্চমার্ক দাবিগুলি প্রকল্পের নিজস্ব এবং এখানে স্বাধীনভাবে যাচাই করা হয়নি।