Open LLM Leaderboard

Open LLM Leaderboard 是一个专注于开源大语言模型（LLM）性能评估与排名的透明化平台，由社区团队基于 Hugging Face Space 构建，旨在解决模型评测标准不一、结果难以复现的痛点。它采用 MMLU、HellaSwag 等统一基准测试，在相同硬件环境（如 8×H100 GPU）下对模型进行标准化评估，提供多任务得分、参数规模、输入输出示例等详细信息，并支持用户提交模型参与自动评测。虽已于2025年3月正式退役，但其历史数据仍公开可查，曾长期作为研究人员、开发者和AI爱好者选型与验证模型能力的重要参考。

• ✓ 提供开源大语言模型的标准化性能排名
• ✓ 支持多维度基准测试（如MMLU、HellaSwag）并公开评分细节
• ✓ 开放全部评估数据集与代码，确保结果可复现
• ✓ 允许社区提交新模型并自动接入评测流程
• ✓ 标注争议模型并链接至社区讨论，增强可信度

1. 1 访问 Hugging Face 上的 Open LLM Leaderboard Space 页面
2. 2 浏览实时更新的模型排行榜，按任务得分或参数规模筛选
3. 3 点击具体模型查看详细评估数据、输入输出样例及技术参数
4. 4 通过官方文档获取 LM Evaluation Harness 命令行工具，本地复现评测
5. 5 提交自有模型至评估队列，等待集群自动完成测试并生成报告

• → 研究人员快速对比不同开源模型在推理、常识问答等任务上的真实表现
• → 开发者为项目选型时，依据统一基准选择最适合的轻量或高性能模型
• → 高校教学中用作大模型课程的实践案例与性能分析素材
• → 开源社区协作优化评测方法，推动更公平、更前沿的评估标准演进
• → 技术媒体撰写评测文章时，引用其公开、可验证的权威数据支撑观点