llm-app

Приложение Pathway LLM App предоставляет готовыми к развертыванию шаблоны ИИ-пайплайнов для создания высокоточных приложений RAG (Retrieval-Augmented Generation) и корпоративного поиска в масштабе. Шаблоны подключаются к живым источникам данных, включая локальные файловые системы, Google Drive, SharePoint, S3, Kafka, PostgreSQL и real-time API, автоматически синхронизируя добавления, удаления и обновления. В состав приложения входят следующие шаблоны: Question-Answering RAG App для работы с документами, Live Document Indexing как сервис векторного хранилища, Multimodal RAG с GPT-4o для извлечения таблиц и графиков из PDF-файлов, конвейер Unstructured-to-SQL для преобразования финансовых документов в структурированные SQL-запросы, Adaptive RAG для снижения затрат на токены, Private RAG на базе Mistral и Ollama для полностью локального развёртывания, Slides AI Search для индексации PowerPoint и PDF, а также Video RAG с TwelveLabs для поиска по видеоконтенту. Фреймворк работает в виде Docker-контейнеров с HTTP API и опциональным Streamlit UI. Он устраняет необходимость в отдельных векторных базах данных, кэшах или API-фреймворках благодаря встроенной векторной индексации (через usearch) и гибриднополнотекстовому поиску (через Tantivy), обрабатывая всё в памяти с кэшированием. Шаблоны масштабируются до миллионов страниц и могут быть развёрнуты на GCP, AWS, Azure, Render или on-premises. Каждый шаблон включает README с инструкциями по настройке, дополнительные кодовые шаблоны доступны на сайте Pathway.