منصوبے کے بارے میں

Xberg ایک کثیراللسانی دستاویزی ذہانت کا انجن ہے جو Rust کور کے گرد بنایا گیا ہے۔ اسے کسی PDF، اسکین شدہ تصویر، اسپریڈشیٹ، آڈیو فائل، URL، آرکائیو یا سورس ٹری پر لگائیں اور یہ صاف متن، ٹیبلز، میٹاڈیٹا اور ساختی ڈیٹا واپس کرتا ہے۔ فارمیٹ کی شناخت، پڑھائی، OCR اور استخراج ایک ہی انجن سنبھالتا ہے بجائے اس کے کہ الگ الگ لائبریریوں سے جوڑا جائے۔ کوریج اور صلاحیتیں - فارمیٹس: README میں 107 فارمیٹس، 141 فائل ایکسٹینشنز اور 56 MIME عرفیات کا دعویٰ ہے، جن میں آفس دستاویزات (Word، Excel، PowerPoint، OpenDocument، Apple iWork، Hangul HWP/HWPX)، PDF، ای-کتابیں (EPUB، FB2)، ڈیٹا بیسز (DBF، SQLite، GeoPackage)، راسٹر اور جدید تصاویر (PNG، JPEG، TIFF، JPEG2000، JBIG2، HEIC/AVIF، SVG)، آڈیو اور ویڈیو ٹریکس (MP3، M4A، WAV، WebM، MP4/MPEG آڈیو ٹریکس)، ویب اور ساختی ڈیٹا (HTML، XML، JSON، YAML، TOML، CSV)، متن اور Markdown کی اقسام (AsciiDoc، CommonMark، MyST، Quarto، Djot، MDX، DocTags، reStructuredText، Org)، ای میل (EML، MSG، PST)، آرکائیوز (ZIP، TAR، GZ، 7z)، اور تعلیمی فارمیٹس (BibTeX، RIS، EndNote، LaTeX، Typst، JATS، Jupyter نوٹ بکس، DocBook، OPML) شامل ہیں۔ - کوڈ انٹیلیجنس: tree-sitter کے ذریعے 371 پروگرامنگ زبانوں سے ساخت، امپورٹس، علامات اور ڈاک اسٹرنگز، RAG پائپ لائنز کے لیے نحو سے آگاہ چنکنگ کے ساتھ۔ - OCR: Tesseract، PaddleOCR، Candle یا VLM بیک اینڈز، فال بیک چینز، اعتماد کے اسکور اور زبان کی خودکار شناخت کے ساتھ۔ - لے آؤٹ اور ٹیبلز: ML لے آؤٹ ماڈلز (PP-DocLayout-V3، RT-DETR) اور ٹیبل اسٹرکچر ماڈلز (TATR، SLANet) پڑھنے کی ترتیب اور سیل گرڈز کو دوبارہ تشکیل دیتے ہیں۔ - افزودگی: NER، کلیدی الفاظ کا استخراج (YAKE/RAKE)، خلاصہ سازی، ترجمہ، PII ریڈیکشن، صفحہ کی درجہ بندی، QR شناخت، زبان کی شناخت، اور TOON ٹوکن کمی کا فارمیٹ۔ - ایمبیڈنگز اور تلاش: مقامی ONNX ایمبیڈنگز یا فراہم کنندہ کی میزبانی والی ایمبیڈنگز، اسپارس اور لیٹ انٹریکشن ریٹریول، اور کراس انکوڈر ری رینکنگ۔ - ساختی استخراج: مقامی انجنوں (Ollama، LM Studio، vLLM) یا میزبان LLM فراہم کنندگان کا استعمال کرتے ہوئے دستاویزات سے اسکیما پر مبنی JSON۔ - آؤٹ پٹ: سادہ متن، Markdown، Djot، HTML، JSON ٹری یا Docling DocTags، نیز حسب ضرورت رینڈررز۔ انٹرفیسز اور تعیناتی پندرہ بائنڈنگز درج ہیں: Rust، Python، Node.js، WebAssembly، Java، Go، C#، PHP، Ruby، Elixir، Dart، Kotlin (Android)، Swift، Zig اور C FFI۔ تعیناتی کے اختیارات میں لائبریری API، 14 کمانڈز والا CLI (extract، batch، detect، formats، version، cache، tree-sitter، doctor، serve، mcp، api، embed، chunk، completions)، `xberg serve` کے ذریعے REST API سرور، Claude Desktop، Cursor اور مماثل کلائنٹس کے لیے 9 ٹولز، 3 پرامپٹس اور 4 وسائل والا MCP سرور، نیز Docker اور Helm پیکیجنگ شامل ہیں۔ README میں بطور ڈیفالٹ صرف CPU پر آپریشن، مواد ہیش کیشنگ، متوازی بیچ پروسیسنگ اور فی فائل ٹائم آؤٹ کا ذکر ہے۔ نوٹس کچھ صلاحیتیں Cargo فیچر فلیگز (url-ingestion، transcription، reranker، layout/ORT) کے پیچھے محدود ہیں؛ پہلے سے بنے پیکجز اور Docker امیج ایک عام سیٹ فراہم کرتے ہیں۔ یہ پروجیکٹ خود کو Kreuzberg کا جانشین بتاتا ہے اور MIT لائسنس یافتہ ہے۔ README میں کارکردگی اور بینچ مارک کے دعوے پروجیکٹ کے اپنے ہیں اور یہاں آزادانہ طور پر تصدیق شدہ نہیں ہیں۔