这个项目能做什么

JouleWise 提供了一个受控框架,用于测量 LLM 推理阶段的能耗。它实现了一个严格的基于证据的流水线,其中测量会话(窗口)被记录在不可变的运行包(run bundles)中,这些包包含标准化配置、事件日志和原始功耗轨迹。 关键能力包括: - 一个带有 CLI 的可运行框架,用于执行运行、验证运行包、将原始数据简化为汇总指标以及生成静态 HTML 报告。 - 支持多种遥测适配器,包括用于 Apple Silicon 的带有 powermetrics 的 MLX runtime,以及用于 NVIDIA GPU 的基于 vLLM 的技术栈。 - 严格的验证工具(`validate-bundle`),以确保记录证据的完整性和溯源性。 - 一个带有 JSON-Schema 导出和验证的类型化配置系统。 - 支持总测量能量和扣除待机能量的视图,以便进行跨设备和跨配置的比较。