您好，请问一下为什么Qwen2.5官方发布的榜单中72B和32B的LiveCodeBench分数跟LiveCodeBench作者公开72B和32B的分数差异这么大？

[13416157913]

Model Series

Qwen2.5

What are the models used?

Qwen2.5-72B-Instruct,Qwen2.5-32B-Instruct

What is the scenario where the problem happened?

vllm

Is this a known issue?

• I have followed the GitHub README.
• I have checked the Qwen documentation and cannot find an answer there.
• I have checked the documentation of the related framework and cannot find useful information.
• I have searched the issues and there is not a similar one.

Information about environment

您好，请问一下为什么Qwen2.5官方发布的榜单中72B和32B的LiveCodeBench分数跟LiveCodeBench作者公开72B和32B的分数差异这么大？

Log output

您好，请问一下为什么Qwen2.5官方发布的榜单中72B和32B的LiveCodeBench分数跟LiveCodeBench作者公开72B和32B的分数差异这么大？

Description

您好，请问一下为什么Qwen2.5官方发布的榜单中72B和32B的LiveCodeBench分数跟LiveCodeBench作者公开72B和32B的分数差异这么大？

[13416157913]

还有个疑问就是：LiveCodeBench基准中有代码生成、自我修复、代码执行、测试输出预测 4个场景，请问Qwen2.5官方发布的榜单中的LiveCodeBench分数使用的是哪个场景的分数？

[huybery]

你需要拖动具体日期，与我们表格中的日期对应。

[13416157913]

你需要拖动具体日期，与我们表格中的日期对应。

选择2023-5~2024-9，Qwen2.5-72B-Instruct分数时50，和Qwen2.5官网发布的55.5差距还是很大；