haystack

Haystack é um framework de orquestração de IA modular projetado para a criação de aplicações de LLM escaláveis. Ele permite que desenvolvedores projetem pipelines e fluxos de trabalho de agentes com controle explícito sobre recuperação, roteamento, memória e geração. O framework é agnóstico em relação a modelos e fornecedores, suportando integrações com OpenAI, Mistral, Anthropic, Cohere, Hugging Face, Google, Azure OpenAI, AWS Bedrock e modelos locais. As principais capacidades incluem: - Agentes prontos para produção: Possui hooks de ciclo de vida para guardrails, monitoramento de uso de tokens e chamadas de ferramentas, e descoberta de habilidades via SkillToolset. - Engenharia de Contexto: Ferramentas para recuperar, classificar, filtrar e rotear informações antes que elas cheguem ao modelo. - Suporte Nativo a Async: Pipelines podem ser executados de forma síncrona ou assíncrona com streaming de token por token, e agentes suportam chamadas de ferramentas concorrentes. - Arquitetura Modular: Inclui componentes integrados para indexação, recuperação e avaliação, com a capacidade de criar componentes personalizados. - Casos de Uso Versáteis: Suporta o desenvolvimento de sistemas de Geração Aumentada de Recuperação (RAG), aplicações multimodais, busca semântica e sistemas de perguntas e respostas.