采用项目https://github.com/haowang02/codex-candy-eval
自己的账号美区家宽表现:
| 轮次 | 答案摘要 | 输入 | 输出 | 推理 | 耗时 | TPS | 判定 |
|---|---|---|---|---|---|---|---|
| 1 | 最少取 21 个…… | 12772 | 2886 | 2588 | 60.6 秒 | 47.6 | ✓ |
| 2 | 最少需要取出 29 个…… | 12772 | 769 | 516 | 21.7 秒 | 35.4 | ✗ |
| 3 | 最少取 21 个…… | 12772 | 2893 | 2588 | 56.6 秒 | 51.1 | ✓ |
| 4 | 最少需要取出 24 个…… | 12772 | 847 | 516 | 23.3 秒 | 36.3 | ✗ |
| 5 | 最少要取出 29 个…… | 12772 | 738 | 516 | 19.7 秒 | 37.4 | ✗ |
汇总:2/5 正确,准确率 40%。由于是串行执行,总耗时约 182 秒,即约 3 分钟。
中转站表现:5 轮里只有第 3 轮答对 21,其余 2 轮都答了 29。单轮耗时大概 17.5s 到 67.6s,reasoning tokens 多数约 516,答对那轮用了 3106 reasoning tokens。
正确答案就是29
有没有大佬开发点新题目
@1564234648 #1
你看项目了么?作者就说正确答案21
我测出来 29。。。有点炸