haystack

Haystack 是一个模块化 AI 编排框架，旨在创建可扩展的 LLM 应用。它允许开发人员设计流水线和代理工作流，并对检索、路由、内存和生成进行显式控制。该框架与模型和供应商无关，支持与 OpenAI、Mistral、Anthropic、Cohere、Hugging Face、Google、Azure OpenAI、AWS Bedrock 以及本地模型的集成。 核心能力包括： - 生产级代理：具有用于护栏的生命周期钩子，用于令牌使用和工具调用的监控，以及通过 SkillToolset 进行的技能发现。 - 上下文工程：提供在信息到达模型之前进行检索、排序、过滤和路由的工具。 - 原生异步支持：流水线可以同步或异步运行，支持逐令牌流式传输，且代理支持并发工具调用。 - 模块化架构：包含用于索引、检索和评估的内置组件，并能够创建自定义组件。 - 多样化用例：支持开发检索增强生成 (RAG) 系统、多模态应用、语义搜索和问答系统。