xberg

Xberg는 Rust 코어를 중심으로 구축된 다국어 문서 인텔리전스 엔진입니다. PDF, 스캔 이미지, 스프레드시트, 오디오 파일, URL, 아카이브 또는 소스 트리를 지정하면 깔끔한 텍스트, 표, 메타데이터, 구조화 데이터를 반환합니다. 형식 감지, 읽기, OCR, 추출은 별도 라이브러리를 조합하는 대신 하나의 엔진에서 처리됩니다. 커버리지 및 기능 - 형식: README는 141개 파일 확장자와 56개 MIME 별칭에 걸친 107개 형식을 주장하며, Office 문서(Word, Excel, PowerPoint, OpenDocument, Apple iWork, Hangul HWP/HWPX), PDF, 전자책(EPUB, FB2), 데이터베이스(DBF, SQLite, GeoPackage), 래스터 및 고급 이미지(PNG, JPEG, TIFF, JPEG2000, JBIG2, HEIC/AVIF, SVG), 오디오 및 비디오 트랙(MP3, M4A, WAV, WebM, MP4/MPEG 오디오 트랙), 웹 및 구조화 데이터(HTML, XML, JSON, YAML, TOML, CSV), 텍스트 및 Markdown 변형(AsciiDoc, CommonMark, MyST, Quarto, Djot, MDX, DocTags, reStructuredText, Org), 이메일(EML, MSG, PST), 아카이브(ZIP, TAR, GZ, 7z), 학술 형식(BibTeX, RIS, EndNote, LaTeX, Typst, JATS, Jupyter 노트북, DocBook, OPML)을 포함합니다. - 코드 인텔리전스: tree-sitter를 통해 371개 프로그래밍 언어의 구조, 임포트, 심볼, 독스트링을 제공하며, RAG 파이프라인을 위한 구문 인식 청킹을 지원합니다. - OCR: Tesseract, PaddleOCR, Candle 또는 VLM 백엔드와 폴백 체인, 신뢰도 점수, 언어 자동 감지를 제공합니다. - 레이아웃 및 표: ML 레이아웃 모델(PP-DocLayout-V3, RT-DETR)과 표 구조 모델(TATR, SLANet)이 읽기 순서와 셀 그리드를 재구성합니다. - 강화: NER, 키워드 추출(YAKE/RAKE), 요약, 번역, PII 삭제, 페이지 분류, QR 감지, 언어 감지, TOON 토큰 절감 형식을 제공합니다. - 임베딩 및 검색: 로컬 ONNX 임베딩 또는 제공자 호스팅 임베딩, 희소 및 후기 상호작용 검색, 크로스 인코더 재순위화를 지원합니다. - 구조화 추출: 로컬 엔진(Ollama, LM Studio, vLLM) 또는 호스팅 LLM 제공자를 사용한 문서로부터의 스키마 기반 JSON을 제공합니다. - 출력: 일반 텍스트, Markdown, Djot, HTML, JSON 트리 또는 Docling DocTags와 사용자 정의 렌더러를 지원합니다. 인터페이스 및 배포 15개 바인딩이 나열됩니다: Rust, Python, Node.js, WebAssembly, Java, Go, C#, PHP, Ruby, Elixir, Dart, Kotlin(Android), Swift, Zig, C FFI. 배포 옵션에는 라이브러리 API, 14개 명령(extract, batch, detect, formats, version, cache, tree-sitter, doctor, serve, mcp, api, embed, chunk, completions)을 갖춘 CLI, `xberg serve`를 통한 REST API 서버, Claude Desktop, Cursor 및 유사 클라이언트를 위한 9개 도구, 3개 프롬프트, 4개 리소스를 갖춘 MCP 서버, Docker 및 Helm 패키징이 포함됩니다. README는 기본적으로 CPU 전용 작동, 콘텐츠 해시 캐싱, 병렬 배치 처리, 파일별 타임아웃을 언급합니다. 참고 일부 기능은 Cargo 기능 플래그(url-ingestion, transcription, reranker, layout/ORT) 뒤에 제한됩니다. 사전 빌드된 패키지와 Docker 이미지는 일반적인 세트를 번들로 제공합니다. 이 프로젝트는 Kreuzberg의 후속이라고 설명하며 MIT 라이선스입니다. README의 성능 및 벤치마크 주장은 프로젝트 자체의 것이며 여기서 독립적으로 검증되지 않았습니다.