pezzo

Pezzoは、大規模言語モデルを用いて構築するチームを対象としたオープンソースのクラウドネイティブLLMOpsプラットフォームです。READMEによると、プロンプト設計、バージョン管理、即時配信、コラボレーション、トラブルシューティング、可観測性を合理化するために設計されています。 リポジトリに記載されている主な機能: - プロンプト管理: プロンプトを一箇所で作成、バージョン管理、管理し、変更を即時に配信します。 - 可観測性: AIオペレーションを観察・監視し、問題のトラブルシューティングを行います。 - キャッシュ: READMEには、キャッシュがコストとレイテンシの削減に役立つと記載されています。 - コラボレーション: プロンプトとAIの変更を共同で管理します。 READMEに記載されている対応クライアントには、Node.js（npmの@pezzo/client）、Python（PyPI）、LangChainが含まれます。機能マトリクスでは、これらのクライアント全体でプロンプト管理、可観測性、キャッシュがサポートされていることが示されています。プロジェクトは、追加クライアントを要望するissueを歓迎しています。 アーキテクチャとデプロイ: Pezzoは完全にクラウドネイティブであると説明されており、PostgreSQL、ClickHouse、Redis、Supertokensなどのオープンソース技術に依存しています。フルスタックをローカルで実行するためのDocker Compose構成が文書化されており、Node.js 18+、Docker、Nx、Prismaマイグレーション、GraphQL codegenを用いた開発モードが説明されています。サーバーはヘルスエンドポイントを公開し、Pezzo Consoleは別のWebアプリケーションとして動作します。 さまざまなユースケースやLLMプロバイダー向けのドキュメント、チュートリアル、レシピは公式ドキュメントサイトで利用できます。プロジェクトはプルリクエストとissueを通じたコミュニティ貢献を歓迎しており、CONTRIBUTING.mdとContributor Covenant行動規範を備えています。ソースコードはApache 2.0 Licenseの下で公開されています。