好开源，值得被发现。

由AI大语言模型驱动的命令行生产力工具。可生成Shell命令、代码片段及文档，支持聊天/REPL模式、自定义角色与函数调用，兼容Linux、macOS和Windows。

SGLang 是一个面向大语言模型 (LLM) 和多模态模型的高性能推理服务框架，旨在实现低延迟和高吞吐量的推理。

PocketRisu 是一个基于 RisuAI 分叉的自托管 AI 角色扮演聊天平台，可在个人服务器上运行，通过网页浏览器在 PC、平板和智能手机上访问。

Aider 是一款基于终端的 AI 配对编程工具，允许开发人员与大语言模型（LLM）协作构建新项目或修改现有代码库。

PowerInfer是一个本地LLM推理引擎，利用激活局部性将常用“热”神经元保留在GPU上，同时在CPU上计算输入相关的“冷”神经元。它支持混合或仅CPU推理、服务、批处理、困惑度评估、INT4量化以及PowerInfer GGUF模型。

YuE2 是一个开源音乐生成模型，将符号规划与音频合成统一：它根据歌词和风格提示生成可编辑的旋律与和弦乐谱，然后渲染出包含人声和伴奏的完整歌曲，并支持零样本翻唱和智能体乐谱编辑。

vLLM 是一个专为大语言模型 (LLM) 推理和部署设计的高吞吐量、内存高效库。

Repomix 将整个代码库打包为单一AI友好文件（XML、Markdown、JSON或纯文本），支持令牌统计、安全过滤、代码压缩和远程仓库加载，专为Claude、ChatGPT、Gemini等大模型优化，提升代码理解与交互效率。

开源中文LLaMA与Alpaca大语言模型项目，在原版LLaMA基础上扩充中文词表并二次预训练，提供指令精调模型、LoRA权重、训练与量化部署脚本，支持本地CPU/GPU运行。

Unsloth 是一款适用于 Windows、macOS 和 Linux 的桌面应用程序和框架，旨在让用户能够在本地运行和训练大语言模型 (LLM) 及扩散模型。

LocalAI是一个开源自托管的AI推理引擎，支持在CPU等多种硬件上本地运行大语言模型、视觉、音频和图像生成模型。它提供OpenAI、Anthropic和ElevenLabs兼容的API接口，支持按需加载模块化后端，具备多用户认证和内置Agent功能（支持RAG和MCP）。

Oumi 是一个开源平台，覆盖基础模型全生命周期：数据准备、训练与微调（SFT、LoRA、QLoRA、GRPO）、评估、使用 LLM 评判的数据合成，以及通过 vLLM/SGLang 部署，并提供 CLI 和云作业启动。

UL-SMF是一个面向长上下文Transformer推理的KV缓存压缩框架，声称通过FSQ和16D潜在映射实现高达384倍压缩。核心压缩逻辑依赖专有闭源二进制文件。

LlamaFactory 是一个用于高效微调 100 多个大语言模型和多模态模型的 Python 框架，提供零代码 CLI、Gradio Web UI、LoRA/QLoRA 以及多种训练算法。

AstrBot 是一个开源的全功能代理聊天机器人平台，可将大语言模型和代理框架连接到QQ、Telegram、Slack和飞书等主流即时通讯应用，支持插件扩展、WebUI和沙箱执行环境。

Langchain-Chatchat 是基于 Langchain 与 ChatGLM、Qwen、Llama 等大模型的开源离线 RAG 与 Agent 应用，支持本地知识库问答、多模型推理框架接入、WebUI 与 API 服务。

Ollama 是一款允许用户在 macOS、Windows 和 Linux 上本地运行、管理并基于开源大语言模型进行构建的工具。