janoa7t-ai
新收录Jano是一个轻量级OpenAI兼容路由器,通过智能批处理和多模型共享单GPU设计,有效减少本地LLM推理时的模型切换开销。
发现优质开源项目,匿名提交开源项目,认领编辑你的开源项目。
带着好奇心,发现开源世界。
THE FIRST COLLECTIONJano是一个轻量级OpenAI兼容路由器,通过智能批处理和多模型共享单GPU设计,有效减少本地LLM推理时的模型切换开销。
Olla Nest 是一个自托管、管理员可控的 AI 工作空间,能够集成本地 Ollama 模型和云提供商,并通过自动请求路由器进行智能分配。
Nexus Orchestrator 是一个自托管的 LLM 路由层,能根据提示意图智能地将请求分发到最合适的本地或云端模型。
SupaNexus是一款开源AI网关,通过单一API统一接入多个大语言模型提供商,简化开发流程,提供OpenAI兼容接口和集中化模型管理。
Hyperstrate Server 是一款自托管企业级 AI 网关,提供模型路由、提供者编排和生产级治理功能,适用于管理多租户 LLM 流量。
基于 Next.js 与 TypeScript 构建的本地优先 AI 控制台,集成 Ollama 实现流式对话、文档 RAG、智能模型路由及用户自主的学习笔记层——所有数据均存储于本地,无需云端依赖。