llm-app

Pathway LLM App 提供即用型 AI 管道模板，用于大规模构建高精度 RAG（检索增强生成）和企业搜索应用。这些模板可连接到本地文件系统、Google Drive、SharePoint、S3、Kafka、PostgreSQL 以及实时数据 API 等动态数据源，并自动同步新增、删除和更新内容。 应用模板包括：面向文档问答的问答 RAG 应用、作为向量存储服务的实时文档索引、使用 GPT-4o 从 PDF 中提取表格和图表的多模态 RAG、将财务文档转换为结构化 SQL 查询的非结构化到 SQL 管道、降低 token 成本的自适应 RAG、使用 Mistral 和 Ollama 实现完全本地部署的私有 RAG、适用于 PowerPoint 和 PDF 索引的 Slides AI Search，以及基于 TwelveLabs 的视频 RAG 视频内容搜索。 该框架以 Docker 容器运行，提供 HTTP API 和可选的 Streamlit UI。通过内置向量索引（usearch）和混合全文搜索（Tantivy），无需依赖单独的向量数据库、缓存或 API 框架，所有处理均在内存中完成并辅以缓存机制。 这些模板可扩展至数百万页，并可在 GCP、AWS、Azure、Render 或本地环境部署。每个模板均附带包含设置说明的 README，更多代码模板可在 Pathway 网站获取。