haystack

Haystack은 확장 가능한 LLM 애플리케이션 생성을 위해 설계된 모듈형 AI 오케스트레이션 프레임워크입니다. 개발자는 검색, 라우팅, 메모리 및 생성에 대한 명시적인 제어권을 가지고 파이프라인과 에이전트 워크플로우를 설계할 수 있습니다. 이 프레임워크는 모델 및 벤더에 구애받지 않으며 OpenAI, Mistral, Anthropic, Cohere, Hugging Face, Google, Azure OpenAI, AWS Bedrock 및 로컬 모델과의 통합을 지원합니다. 주요 기능은 다음과 같습니다: - 프로덕션 준비 완료 에이전트: 가드레일을 위한 라이프사이클 훅, 토큰 사용량 및 도구 호출 모니터링, SkillToolset을 통한 기술 검색 기능을 제공합니다. - 컨텍스트 엔지니어링: 정보가 모델에 도달하기 전에 이를 검색, 순위 지정, 필터링 및 라우팅하는 도구를 제공합니다. - 네이티브 비동기 지원: 파이프라인은 동기식 또는 토큰 단위 스트리밍을 통한 비동기식으로 실행될 수 있으며, 에이전트는 동시 도구 호출을 지원합니다. - 모듈형 아키텍처: 인덱싱, 검색 및 평가를 위한 내장 컴포넌트를 포함하며, 사용자 정의 컴포넌트를 생성할 수 있는 기능을 갖추고 있습니다. - 다각적인 활용 사례: 검색 증강 생성(RAG) 시스템, 멀티모달 애플리케이션, 시맨틱 검색 및 질의응답 시스템 개발을 지원합니다.