llm-app

Pathway LLM App는 대규모 고정확도 RAG(검색 증강 생성) 및 엔터프라이즈 검색 애플리케이션 구축을 위한 즉시 배포 가능한 AI 파이프라인 템플릿을 제공합니다. 이 템플릿은 로컬 파일 시스템, Google Drive, SharePoint, S3, 카프카, PostgreSQL, 실시간 데이터 API 등 라이브 데이터 소스와 연결되어 추가, 삭제, 업데이트 내용을 자동으로 동기화합니다. 제공되는 애플리케이션 템플릿은 다음과 같습니다: 문서 질의응답용 질의응답 RAG 앱, 벡터 스토어 서비스로 활용 가능한 라이브 문서 인덱싱, PDF에서 표와 차트를 추출하는 GPT-4o 기반 멀티모달 RAG, 금융 문서를 구조화된 SQL 쿼리로 변환하는 비정형 to SQL 파이프라인, 토큰 비용을 절감하는 적응형 RAG, Mistral과 Ollama를 활용해 완전히 로컬 환경에 배포 가능한 프라이빗 RAG, PowerPoint와 PDF 인덱싱용 슬라이드 AI 검색, TwelveLabs를 활용한 영상 콘텐츠 검색용 비디오 RAG입니다. 이 프레임워크는 도커 컨테이너로 실행되며 HTTP API와 선택적 Streamlit UI를 제공합니다. 별도의 벡터 데이터베이스, 캐시, API 프레임워크가 필요하지 않도록, usearch 기반 벡터 인덱싱과 Tantivy 기반 하이브리드 풀텍스트 검색 기능을 자체 내장하고 있으며 모든 처리를 인메모리로 캐싱하여 수행합니다. 템플릿은 수백만 페이지 규모로 확장 가능하며 GCP, AWS, Azure, Render, 온프레미스 환경에 배포할 수 있습니다. 각 템플릿에는 설정 방법이 포함된 README가 함께 제공되며, 추가 코드 템플릿은 Pathway 웹사이트에서 확인할 수 있습니다.