BLOG

Emergent Abilities of Large Language Models ​

论文在线阅读

中文翻译：大型语言模型的涌现能力

论文介绍 ​

  • 发表时间与作者：该论文由 Jason Wei, Yi Tay, Rishi Bommasani 等人撰写，于 2022 年 6 月首次发布在 arXiv 上，主要作者来自 Google Research、Stanford University 等机构。论文后来发表于 TMLR (Transactions on Machine Learning Research) 期刊。
  • 研究背景：随着大型语言模型（LLMs）规模的不断扩大，研究人员开始观察到一种有趣的现象：某些能力似乎只在模型达到特定规模后才突然出现，而非随着模型规模的增长而平滑改善。这种被称为"涌现能力"的现象引起了广泛关注，但缺乏系统性的研究和定义。
  • 解决问题：论文旨在定义、识别并系统性地研究大型语言模型中的涌现能力现象。作者提出了涌现能力的正式定义，并通过对现有研究的梳理，识别了多种涌现能力，为理解语言模型的能力边界提供了新视角。
  • 解决效果：论文通过分析现有研究数据，识别出至少7种不同的涌现能力，并展示了这些能力的涌现阈值。例如，通过分析PaLM模型系列（8B到540B参数）的表现，发现多步推理能力在模型达到约62B参数时才开始显著提升；GPT-3系列（350M到175B参数）的指令跟随能力在13B参数附近出现质的飞跃，准确率从5%迅速提升至约75%。
  • 影响力：截至2025年初，这篇论文已被引用超过1500次。它为大型语言模型研究提供了重要的概念框架，影响了后续模型评估方法和规模扩展策略，成为理解大型语言模型能力边界与潜力的关键文献。

论文主要内容概括 ​

涌现能力的定义 ​

论文首先提出了涌现能力的正式定义：涌现能力是指模型在特定任务上的表现在规模较小时表现很差（接近随机），但在达到足够大的规模后突然显著提升的能力。这种能力无法从小型模型的表现通过简单外推预测出来，而是在某个临界点"涌现"。

关键特点：

  • 在小规模模型中不存在或表现极差（接近随机猜测）
  • 在模型规模达到某个阈值后突然出现或显著提升
  • 能力的出现表现为性能曲线的拐点，而非平滑的线性提升

已识别的涌现能力 ​

论文系统性地总结了多项研究中观察到的涌现能力：

  1. 多步骤推理：解决需要多个推理步骤的数学或逻辑问题的能力

    • 涌现阈值：在PaLM模型中约为62B参数
    • 在GSM8K基准测试中，性能从8B模型的4.4%跃升到62B模型的42.6%

  2. 代码生成：根据自然语言描述生成功能正确的程序代码

    • 在Codex和LaMDA系列模型中观察到明显的涌现
    • 在HumanEval基准测试中，性能在特定规模后有非线性提升

  3. 指令跟随：理解并执行用自然语言表达的指令

    • 在GPT-3系列中，13B参数量附近出现明显跃升
    • 准确率从接近随机水平（~5%）跃升至~75%

  4. 真假推理：判断一个语句是否为真（TruthfulQA）

    • 在较小模型中表现接近或低于随机猜测
    • 在特定规模后显著超越随机基线

  5. 思维链推理：通过"思考"中间步骤来解决复杂问题

    • 在小型模型中无效或有害
    • 在大型模型中显著提升问题解决能力

  6. 推理迁移学习：在看到少量示例后学习新推理任务

    • FLAN-PaLM研究显示在137B参数后有显著提升

  7. 复杂语言理解：理解隐喻、文化参考和多层含义

    • 在BIG-Bench的子任务中观察到涌现现象

理论解释与讨论 ​

论文对涌现能力现象提出了几种可能的解释：

  1. 数据集组成效应：模型需要达到一定规模才能有效利用训练数据中的长尾分布信息。

  2. 隐藏多模态性：涌现可能反映了评估方法的局限，实际上能力是连续提升的，只是在特定阈值后变得可测量。

  3. 学习算法与规模互动：随着规模增加，模型的学习动态可能发生根本变化，使其能够获取新的抽象能力。

  4. 积累的认知能力：基础能力积累到临界点后，可能通过协同作用产生新的复杂能力。

论文还讨论了涌现能力的重要研究问题：哪些因素影响涌现阈值？涌现能力是否可以通过其他方法（如特定训练技术）在小型模型中实现？涌现能力的可靠性和稳定性如何？

主要结论 ​

  1. 涌现是真实现象：多项实验证据支持，某些语言模型能力确实以非线性方式在特定规模阈值后出现。

  2. 规模门槛各不相同：不同能力的涌现阈值差异很大，从几十亿到数千亿参数不等。

  3. 涌现预示未知潜力：随着模型规模继续增长，可能会出现更多目前无法预测的新能力。

  4. 评估方法重要性：涌现能力的检测强烈依赖于评估方法，需要更多样化的任务和指标。

  5. 引发伦理与安全问题：涌现能力的不可预测性对AI安全和治理提出了挑战。

实际应用与意义 ​

涌现能力研究对AI领域产生了深远影响：

  1. 规模效应再评估：挑战了"更大就更好"的简单假设，指出规模增长可能带来质变而非仅量变。

  2. 模型设计策略调整：促使研究人员重新思考模型架构和训练方法，寻找能够降低涌现阈值的方法。

  3. 评估范式转变：推动了更全面、多样化的模型评估框架，特别是对高级认知能力的测试。

  4. 安全研究方向：涌现能力的不可预测性强调了预先考虑AI安全问题的重要性，影响了对AI风险的评估方法。

  5. 资源分配决策：为投资大型计算资源训练超大规模模型提供了理论基础，影响了学术界和产业界的研发决策。

这项研究的主要贡献在于，它不仅系统性地记录了涌现现象，还为理解和预测大型语言模型的能力边界提供了概念框架。它挑战了我们对AI进步的线性理解，暗示着随着规模的增长，可能会出现全新的、目前无法预测的能力和应用。这一观点对AI研究方向和伦理安全考量都产生了重大影响。