工具与资源

PubMedQA

pubmedqa.github.io

生物医学问答数据集和模型评估工具。

H2O EvalGPT

evalgpt.ai

H2O.ai公司基于Elo评级方法开发的大模型评估系统

LLMEval3

llmeval.com

复旦大学自然语言处理实验室开发的AI大模型评测基准

LMArena

lmarena.ai

AI模型评估的专用平台，用于比较不同AI模型的性能。

HELM

crfm.stanford.edu

斯坦福大学开发的大模型全面能力评估体系

MMBench

mmbench.opencompass.org.cn

多模态大模型能力评测的广泛全面客观体系

OpenCompass

opencompass.org.cn

上海人工智能实验室开发的开放式大模型评测框架

AGI-Eval

agi-eval.cn

AI大模型评测的社区。

SuperCLUE

cluebenchmarks.com

中文通用大模型的综合测评基准。

FlagEval

flageval.baai.ac.cn

（天秤）是智源研究院的大模型评测平台。

C-Eval

github.com

全面涵盖中文基础模型能力评估的工具套件

MMLU

paperswithcode.com

大规模的多任务语言理解能力评估基准测试

MagicArena

aigcarena.com

字节跳动开发的视觉生成人工智能模型对战竞技平台