haystack

Haystackは、スケーラブルなLLMアプリケーションを作成するために設計されたモジュール式AIオーケストレーションフレームワークです。開発者は、検索、ルーティング、メモリ、生成を明示的に制御して、パイプラインやエージェントのワークフローを設計できます。このフレームワークはモデルやベンダーに依存せず、OpenAI、Mistral、Anthropic、Cohere、Hugging Face、Google、Azure OpenAI、AWS Bedrock、およびローカルモデルとの統合をサポートしています。 主な機能は以下の通りです： - 本番環境向けエージェント：ガードレール用のライフサイクルフック、トークン使用量やツールコールの監視、SkillToolsetによるスキル検出機能を備えています。 - コンテキストエンジニアリング：情報がモデルに到達する前に、情報を検索、ランキング、フィルタリング、ルーティングするためのツールを提供します。 - ネイティブな非同期サポート：パイプラインは同期または非同期で実行でき、トークンごとのストリーミングが可能です。また、エージェントは並行したツールコールをサポートしています。 - モジュール式アーキテクチャ：インデックス作成、検索、評価のための組み込みコンポーネントが含まれており、カスタムコンポーネントを作成することも可能です。 - 多様なユースケース：検索拡張生成（RAG）システム、マルチモーダルアプリケーション、セマンティック検索、および質問回答システムの開発をサポートします。