发现开源项目

开源个人云操作系统，可在自有硬件上运行AI智能体和大语言模型，统一管理计算、存储与网络资源。

Cactus 是一款面向移动设备、可穿戴设备、智能家居和机器人的混合边缘-云端 AI 推理引擎，具备自定义量化、CPU/GPU 内核，以及兼容 OpenAI 的文本、语音和视觉 API。

COMSTAR 是一个面向家庭的预 alpha 阶段、自托管具身 AI 终端：一台配备摄像头、麦克风和扬声器的树莓派，可识别人脸、监听唤醒词，并通过口型同步的 3D 虚拟形象大声回答，背后由本地智能体编排引擎驱动。

一个中立、可复现的本地LLM引擎真机基准测试框架，覆盖macOS、iOS、Android上的LiteRT-LM、llama.cpp、MLX、Core AI与Cactus，提供原始采集数据、回归判定与耐久性测试。

jevos 是 Jev 的开源本地替代方案，用于是/否决策：发送文本加问题，即可在笔记本 CPU 上于 50-220 毫秒内得到 P(yes)。它提供兼容 Jev 的 HTTP API 和 CLI，支持单次请求多个命名问题，并通过 llama.cpp 运行量化 GGUF 模型。

goinfer 是一个纯 Go、无 cgo 的本地 LLM 推理库和服务器，支持从 GGUF 或 safetensors 运行 Gemma、Qwen、Llama 等模型，提供单一静态二进制文件，并保证模式约束输出。

Turbo AI Chat 是一个基于 HarmonyOS NEXT 的原生端侧大模型聊天应用，旨在验证在鸿蒙设备上直接运行本地 LLM 的完整链路。

audio.cpp是一个基于ggml的高性能纯C++音频推理引擎，支持TTS、ASR、语音克隆、VAD、音乐生成等，提供快速、便携、本地部署，无需Python依赖。

Alp SDK 是面向 E1M 边缘 AI 模块的 C/C++ 统一层，通过单一 API 支持 Alif Ensemble、Renesas RZ/V2N、NXP i.MX 93 及 DEEPX NPU，适用于 Zephyr、Yocto 和裸机环境。

Meowtion 是一款开源智能猫项圈，搭载端侧 AI，可追踪进食、饮水、活动、休息和呼噜声，并在实时仪表盘上显示日常规律变化，帮助及早发现疾病。

NATS是CNCF旗下的云原生消息系统；nats-server是其高性能服务器，可运行于本地、云端、边缘或树莓派，拥有超过40种客户端语言实现。

Needle 是一个专为微控制器、可穿戴设备和手机等边缘设备设计的紧凑型基础模型，体积仅 8-29 MB。它专注于结构化数据提取、工具调用和文本嵌入，采用阶梯式架构，可在资源受限硬件上实现可扩展性能。