这个项目能做什么
JouleWise 提供了一个受控框架,用于测量 LLM 推理阶段的能耗。它实现了一个严格的基于证据的流水线,其中测量会话(窗口)被记录在不可变的运行包(run bundles)中,这些包包含标准化配置、事件日志和原始功耗轨迹。
关键能力包括:
- 一个带有 CLI 的可运行框架,用于执行运行、验证运行包、将原始数据简化为汇总指标以及生成静态 HTML 报告。
- 支持多种遥测适配器,包括用于 Apple Silicon 的带有 powermetrics 的 MLX runtime,以及用于 NVIDIA GPU 的基于 vLLM 的技术栈。
- 严格的验证工具(`validate-bundle`),以确保记录证据的完整性和溯源性。
- 一个带有 JSON-Schema 导出和验证的类型化配置系统。
- 支持总测量能量和扣除待机能量的视图,以便进行跨设备和跨配置的比较。
评论
0 评分人数达到10人后显示
登录后参与讨论。