相同固定输入、4 并发、512K 共享上下文、测试时 prompt cache 为 0。吞吐量不得降低,TTFT 不得增加,输出 token 数量和哈希必须完全一致。
验收:未通过;保留结果,继续定位与优化
| 工作负载 | 原环境 tok/s | LPK tok/s | 吞吐变化 | 原 TTFT 秒 | LPK TTFT 秒 | 结果 |
|---|---|---|---|---|---|---|
| 文本生成 C1 | 45.89 | 45.91 | +0.04% | 0.23825 | 0.23343 | 通过 |
| 文本生成 C4 总吞吐 | 70.11 | 74.11 | +5.71% | 0.72278 | 0.71437 | 通过 |
| 代码生成 C1 | 67.01 | 65.71 | -1.94% | 0.38006 | 0.38725 | 未通过 |
| 代码生成 C4 总吞吐 | 87.53 | 90.72 | +3.64% | 1.13597 | 1.02582 | 通过 |
| 8K 预填充 | 835.11 | 925.13 | +10.78% | 9.82036 | 8.86476 | 通过 |
| 32K 预填充 | 658.43 | 947.69 | +43.93% | 49.80001 | 34.59994 | 通过 |
| 128K 预填充 | 656.79 | 888.60 | +35.29% | 199.84445 | 147.52331 | 通过 |
每两秒读取现有 sysfs/proc,包含排除计时的热身和请求间隙;采样先存内存,结束后写盘。没有采集 GPU 内核计数器或逐内核耗时。
| 节点 | 样本数 | GPU GHz | EMC GHz | CPU GHz 范围 | 最低可用内存 GiB | GPU 温度 °C |
|---|---|---|---|---|---|---|
| 192.168.1.199 | 436 | 1.575–1.575 | 4.266–4.266 | 2.601–2.601 | 11.01 | 52.093–63.000 |
| 192.168.1.113 | 437 | 1.575–1.575 | 4.266–4.266 | 2.601–2.601 | 12.23 | 52.531–63.531 |
| 192.168.1.124 | 346 | 1.575–1.575 | 4.266–4.266 | 2.601–2.601 | 10.58 | 52.531–64.937 |
| 192.168.1.104 | 346 | 1.575–1.575 | 4.266–4.266 | 2.601–2.601 | 11.90 | 52.062–65.562 |