unified-llm-engineTEJA4704
新收录Unified LLM Engine 是一个 Python 库,通过统一接口访问多个大型语言模型(LLM)提供商,支持自动故障转移、成本与 Token 使用追踪、智能响应缓存和异步优先设计。
发现优质开源项目,匿名提交开源项目,认领编辑你的开源项目。
带着好奇心,发现开源世界。
THE FIRST COLLECTIONUnified LLM Engine 是一个 Python 库,通过统一接口访问多个大型语言模型(LLM)提供商,支持自动故障转移、成本与 Token 使用追踪、智能响应缓存和异步优先设计。
Agentic OS 是一个用于运行业务操作的自托管控制平面,由 AI 代理组成。它具有成本感知 LLM 路由器、跨模块工作流,以及用于财务、支持和合规的人工审批。
llm-budget-proxy 是一款轻量级 OpenAI API 反向代理,支持按密钥设置 Token 预算、速率限制、成本仪表盘以及自动模型降级功能。
CogniGate 是一个自托管的多租户 LLM 网关,提供单一的 OpenAI 兼容端点,用于在确保凭据安全的同时管理多个模型提供商。
这是一个生产级且兼容 OpenAI 的智能 LLM 路由与回退代理,通过将简单查询路由至小语言模型 (SLM),而将复杂查询路由至前沿模型,从而优化 API 成本。
SupaNexus是一款开源AI网关,通过单一API统一接入多个大语言模型提供商,简化开发流程,提供OpenAI兼容接口和集中化模型管理。
Semantica是一款图谱原生基础设施,为AI系统提供结构化上下文、确定性推理和完整的决策溯源,作为大模型和智能体的语义层。