好开源，值得被发现。

MoziAI-35B是一款可本地部署的开源多模态大语言模型，采用35B MoE架构并通过MoziSmartBit量化压缩至约15.9 GB，支持256K上下文、视觉、工具调用及金融推理框架。

vLLM 是一个专为大语言模型 (LLM) 推理和部署设计的高吞吐量、内存高效库。

LlamaFactory 是一个用于高效微调 100 多个大语言模型和多模态模型的 Python 框架，提供零代码 CLI、Gradio Web UI、LoRA/QLoRA 以及多种训练算法。

SGLang 是一个面向大语言模型 (LLM) 和多模态模型的高性能推理服务框架，旨在实现低延迟和高吞吐量的推理。