llmfit

llmfit 是一款命令行工具，帮助你判断自己的机器究竟能运行哪些开源大语言模型。它会检测 CPU 核心数、系统内存、独立或集成 GPU、显存以及统一内存配置（NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPI），然后从四个维度对其目录中的模型进行评分：内存适配、预估速度、质量和上下文长度。 README 中描述的主要能力： - 跨 macOS（Apple Silicon 和 Intel）、Linux（x86_64 和 ARM64）以及 Windows（x86_64）的硬件自动检测。 - 兼容性引擎，会考虑参数量、上下文长度和量化格式（GGUF、AWQ、GPTQ、EXL2），以预测内存占用和每秒 token 数性能。 - 交互式终端 UI（默认）以及经典 CLI 模式，支持过滤、帮助快捷键和导航。 - Web 仪表盘和原生 HTTP API 服务器，暴露诸如 /api/v1/system 和 /api/v1/models 的 JSON 端点，面向编排器、仪表盘和部署流水线。 - 支持多 GPU 配置、MoE 架构、动态量化选择，以及包括 Ollama、llama.cpp、MLX、Docker Model Runner 和 LM Studio 在内的本地运行时提供方。 - 基准测试：下载并服务一个模型，测量真实 tok/s 和 TTFT，将结果保存到本地，并可选地通过 TUI 以 PR 形式回传给项目。社区测量结果可以替换适配表中的估算值。 - 存储规划命令，用于估算保留选定数量可运行模型所需的 SSD 容量。 安装选项包括 Windows 上的 Scoop、macOS/Linux 上的 Homebrew 和 MacPorts、curl 安装脚本、uv/pip 打包、预构建发布二进制文件，以及支持交互式 TUI 和无头服务器模式的多架构 Docker 镜像（ghcr.io/alexsjones/llmfit）。从源码构建使用 Cargo。 典型命令包括 `llmfit recommend`（带 `--json`）、`llmfit fit`、`llmfit info "<model>"`、`llmfit bench`、`llmfit doctor`、`llmfit storage` 和 `llmfit serve`。README 指出，速度估算来自基于运行时采样和社区测量的内存带宽模型，并且 `llmfit info` 会显示每个估算背后的假设。该项目采用 MIT 许可证，欢迎贡献，尤其是新的模型条目。