这个项目能做什么

Omni Gateway Local是一款轻量级API网关，旨在简化与多个大语言模型（LLM）提供商的交互。它在/v1/chat/completions提供单一、标准化的兼容OpenAI接口，使开发者能够使用相同的客户端代码，无论底层模型是在本地运行（例如通过Ollama）还是远程运行（例如OpenAI、Anthropic、Gemini）。该网关根据请求中的“model”参数动态路由请求。基于FastAPI和LiteLLM构建，它通过Server-Sent Events（SSE）支持流式传输，且设置极为简便：通过pip安装，设置API密钥的环境变量，然后启动服务器。适用于正在尝试不同模型、构建本地AI应用或寻求对提供商特定API进行抽象的开发者。采用MIT许可证。