इस प्रोजेक्ट के बारे में

Xberg एक पॉलीग्लॉट दस्तावेज़-इंटेलिजेंस इंजन है जो Rust कोर के चारों ओर बनाया गया है। इसे PDF, स्कैन की गई छवि, स्प्रेडशीट, ऑडियो फ़ाइल, URL, आर्काइव, या सोर्स ट्री पर पॉइंट करें और यह साफ़ टेक्स्ट, टेबल, मेटाडेटा और संरचित डेटा लौटाता है। फॉर्मेट डिटेक्शन, रीडिंग, OCR और एक्सट्रैक्शन अलग-अलग लाइब्रेरी से जोड़ने के बजाय एक ही इंजन द्वारा संभाले जाते हैं। कवरेज और क्षमताएँ - फॉर्मेट: README 141 फ़ाइल एक्सटेंशन और 56 MIME उपनामों में 107 फॉर्मेट का दावा करता है, जिसमें Office दस्तावेज़ (Word, Excel, PowerPoint, OpenDocument, Apple iWork, Hangul HWP/HWPX), PDF, ई-बुक्स (EPUB, FB2), डेटाबेस (DBF, SQLite, GeoPackage), रास्टर और उन्नत छवियाँ (PNG, JPEG, TIFF, JPEG2000, JBIG2, HEIC/AVIF, SVG), ऑडियो और वीडियो ट्रैक (MP3, M4A, WAV, WebM, MP4/MPEG ऑडियो ट्रैक), वेब और संरचित डेटा (HTML, XML, JSON, YAML, TOML, CSV), टेक्स्ट और Markdown वेरिएंट (AsciiDoc, CommonMark, MyST, Quarto, Djot, MDX, DocTags, reStructuredText, Org), ईमेल (EML, MSG, PST), आर्काइव (ZIP, TAR, GZ, 7z), और अकादमिक फॉर्मेट (BibTeX, RIS, EndNote, LaTeX, Typst, JATS, Jupyter notebooks, DocBook, OPML) शामिल हैं। - कोड इंटेलिजेंस: tree-sitter के माध्यम से 371 प्रोग्रामिंग भाषाओं से संरचना, इम्पोर्ट, सिंबल और डॉकस्ट्रिंग, RAG पाइपलाइनों के लिए सिंटैक्स-अवेयर चंकिंग के साथ। - OCR: Tesseract, PaddleOCR, Candle, या VLM बैकएंड, फॉलबैक चेन, कॉन्फिडेंस स्कोर और भाषा ऑटो-डिटेक्शन के साथ। - लेआउट और टेबल: ML लेआउट मॉडल (PP-DocLayout-V3, RT-DETR) और टेबल-स्ट्रक्चर मॉडल (TATR, SLANet) रीडिंग ऑर्डर और सेल ग्रिड का पुनर्निर्माण करते हैं। - एनरिचमेंट: NER, कीवर्ड एक्सट्रैक्शन (YAKE/RAKE), समराइज़ेशन, अनुवाद, PII रिडैक्शन, पेज क्लासिफिकेशन, QR डिटेक्शन, भाषा डिटेक्शन, और एक TOON टोकन-रिडक्शन फॉर्मेट। - एम्बेडिंग और सर्च: लोकल ONNX एम्बेडिंग या प्रोवाइडर-होस्टेड एम्बेडिंग, स्पार्स और लेट-इंटरैक्शन रिट्रीवल, और क्रॉस-एनकोडर रीरैंकिंग। - संरचित एक्सट्रैक्शन: लोकल इंजन (Ollama, LM Studio, vLLM) या होस्टेड LLM प्रोवाइडर का उपयोग करके दस्तावेज़ों से स्कीमा-ड्रिवन JSON। - आउटपुट: प्लेन टेक्स्ट, Markdown, Djot, HTML, JSON ट्री, या Docling DocTags, साथ ही कस्टम रेंडरर। इंटरफेस और डिप्लॉयमेंट पंद्रह बाइंडिंग सूचीबद्ध हैं: Rust, Python, Node.js, WebAssembly, Java, Go, C#, PHP, Ruby, Elixir, Dart, Kotlin (Android), Swift, Zig, और C FFI। डिप्लॉयमेंट विकल्पों में एक लाइब्रेरी API, 14 कमांड वाला CLI (extract, batch, detect, formats, version, cache, tree-sitter, doctor, serve, mcp, api, embed, chunk, completions), `xberg serve` के माध्यम से एक REST API सर्वर, Claude Desktop, Cursor और समान क्लाइंट के लिए 9 टूल, 3 प्रॉम्प्ट और 4 रिसोर्स वाला एक MCP सर्वर, साथ ही Docker और Helm पैकेजिंग शामिल हैं। README डिफ़ॉल्ट रूप से CPU-ओनली ऑपरेशन, कंटेंट-हैश कैशिंग, पैरेलल बैच प्रोसेसिंग और प्रति-फ़ाइल टाइमआउट नोट करता है। नोट्स कुछ क्षमताएँ Cargo फीचर फ्लैग (url-ingestion, transcription, reranker, layout/ORT) के पीछे गेटेड हैं; प्रीबिल्ट पैकेज और Docker इमेज एक सामान्य सेट बंडल करते हैं। प्रोजेक्ट खुद को Kreuzberg का उत्तराधिकारी बताता है और MIT लाइसेंस प्राप्त है। README में प्रदर्शन और बेंचमार्क दावे प्रोजेक्ट के अपने हैं और यहाँ स्वतंत्र रूप से सत्यापित नहीं हैं।