好开源，值得被发现。

Khoj is an open-source, self-hostable personal AI app that connects to local or online LLMs, answers questions from the web and your documents, and supports custom agents, automations and semantic search across browser, desktop, phone and chat clients.

Xinference是一个统一推理库，用于服务语言、语音和多模态模型。它提供OpenAI兼容的RESTful API、异构GPU/CPU利用、分布式部署，并与LangChain、LlamaIndex、Dify和Chatbox集成。

Jan 是一款开源桌面应用，可在本地运行大型语言模型，实现离线、私密使用，并可选连接云服务提供商及兼容 OpenAI 的本地 API。

RunAnywhere 是一套跨平台SDK套件，支持在手机、浏览器、桌面及服务器端完全本地运行AI模型。通过单一语义API提供大语言模型、视觉、语音、语音代理、RAG、嵌入向量及图像生成能力。

WildReality DreamEngine 是一个开源、基于 LLM 的角色扮演与世界模拟引擎，采用 Electron/NodeJS 构建。它具备持久化世界状态、动态角色演化、脚本化行为等功能，并兼容任何语言模型。

开源桌面 AI 伴侣应用，支持 Live2D/VRM 形象、语音聊天、本地 LLM 支持、桌面 RPG 引擎以及自主桌面代理功能。默认情况下 100% 本地运行。

Otaku 是一个免费的本地 LLM 前端，用于角色扮演，提供网页和终端界面。它支持本地和云端 LLM，通过场景摘要管理长上下文，并可导入 SillyTavern 聊天记录和角色卡。