来自132个机构的研究人员花了两年时间提出了一个新的基准大工作台，一个大语言模型在此基础上，对OpenAI的GPT模型和Google—Internal Dense Transformer架构进行了评测，模型规模为6个数量级

最终的结果表明，虽然模型的性能伴随着规模的扩大而提高，但与人类的性能仍相差甚远。

对于这部作品，杰夫·迪恩转发了一个赞:很棒的作品。

大语言模型的新基准

莱康在这篇论文里说了什么。

伴随着规模的扩大，模型的性能和质量都得到了一定程度的提升，可能会有一些革命性的影响，但这些性能之前并没有很好的描述。

现有的一些基准存在一定的局限性，评测范围较窄，性能评分很快达到饱和。

比如强力胶，在引入这一基准后的18个月内，模型取得了超越人类水平的性能。

基于这样的背景，BIG—bench诞生了。

目前由204项任务组成，涵盖语言学，儿童发展，数学，常识推理，生物，物理，社会偏见，软件开发等问题。

此外，还有一个由人类专家组成的陪审团，他们也执行所有任务来提供基线水平。

为了方便更多机构使用，研究人员还给出BIG—bench Lite，一个小但有代表性的任务子集，便于更快的评估。

以及实现benchmark API的开源代码，它支持对公开可用模型的任务评估和新任务的轻量级创建。

最终评估结果表明，规模跨越了六个数量级，且伴随着模型规模的扩大和训练样本数量的增加，大平台上的整体性能有所提高。

但与人类基线水平相比，性能还是比较差的。

在某些特定任务上，模型的性能会伴随着规模的增大而稳步提升但有时候，会有特定规模的突然突破表现

此外，它还可以评估模型的社会偏差。

此外，他们意外地发现，模特还可以获得一些隐藏技能比如象棋里怎么按规则走

剩下的，有50页参考文献。

好了，有兴趣的朋友可以戳下面链接到康康论文。

纸质链接:

GitHub链接: