BLOG

Welcome to the Era of Experience ​

论文在线阅读

中文翻译：欢迎来到经验时代

论文介绍 ​

基本信息 ​

  • 发表时间：2024年
  • 作者：David Silver和Richard S. Sutton。David Silver是DeepMind的研究员，曾领导开发AlphaGo和AlphaZero；Richard S. Sutton是强化学习领域的先驱，被誉为"强化学习教父"，是DeepMind的杰出研究科学家，也是阿尔伯塔大学计算机科学教授。

论文背景与问题 ​

这篇论文是在当前大型语言模型(LLM)发展迅速但面临瓶颈的背景下提出的。作者认为AI研究正在从"人类数据时代"过渡到"经验时代"。当前的AI系统如大型语言模型主要通过训练人类生成的数据获得能力，但这种方法正接近从现有人类知识中学习的极限。

论文旨在解决AI发展中的一个根本性问题：如何突破依赖人类数据的限制，实现超越人类能力的AI。这是对Sutton 2019年发表的著名文章《苦涩的教训》(The Bitter Lesson)的延续和发展，后者强调了利用计算能力的通用方法在AI研究中的重要性。

解决方案 ​

论文提出了一种新的范式，即通过经验学习来突破AI发展的瓶颈。作者提出，下一代AI智能体将主要通过与环境的直接交互来学习，而不是仅仅依赖于人类生成的数据。这种新范式的特点包括：

  • 智能体将在连续的经验流中运行，而不是离散的片段
  • 行动和观察将基于真实世界环境
  • 奖励将来自可测量的结果，而不仅仅是人类判断
  • 推理过程不局限于人类思维模式

作者特别强调了强化学习(RL)作为从经验中学习的自然框架的重要性。他们提出将经典的RL方法与新技术相结合，例如AlphaProof就是将预训练的语言模型与AlphaZero强化学习算法相结合的系统。

解决效果 ​

论文中提到了一些具体的成功案例，特别是AlphaProof的成就。AlphaProof是一个将预训练语言模型与AlphaZero强化学习算法相结合的系统，用于形式数学证明。在简短地从人类证明中学习后，AlphaProof能够通过自主探索生成超过1亿个额外的证明步骤，其表现优于仅在精选人类数据上训练的系统。

论文还提到AlphaProof在国际数学奥林匹克竞赛中获得了奖牌级别的表现，这表明"经验时代"的转变已经开始。

影响力 ​

由于论文是最近发表的，目前还没有确切的引用量数据。然而，这篇论文在AI领域已经引起了广泛的讨论和关注。作者David Silver和Richard Sutton都是AI领域的重量级人物，他们的观点对整个领域有着重要的影响。

特别是，这篇论文被视为Sutton 2019年发表的著名文章《苦涩的教训》(The Bitter Lesson)的延续和发展，后者在AI领域有着极高的影响力。这篇新论文是他们首次对大型语言模型(LLM)发表的书面观点，因此具有重要的理论和实践意义。

论文预测，通过经验学习，AI最终将能够在许多领域实现超人类能力，发现超越当前人类理解的知识。

论文主要内容概括 ​

《欢迎来到经验时代》的核心论点是：AI研究正在从依赖人类数据的时代过渡到依赖经验学习的时代，这一转变将使AI能够突破人类知识的限制，实现真正的超人类能力。

论文首先回顾了AI研究的历史，指出当前的大型语言模型(LLM)主要是通过训练人类生成的数据获得能力的。这种方法虽然取得了显著成功，但也面临着固有的限制：它们的能力受限于人类知识的边界，无法超越人类已知的范围。

作者将AI研究的发展分为三个阶段：

  1. 规则时代：早期的AI系统主要基于人类编写的规则和知识库，如专家系统。
  2. 人类数据时代：当前的主流方法，AI系统通过学习大量人类生成的数据（如文本、图像、视频等）获得能力，大型语言模型就是这一阶段的代表。
  3. 经验时代：下一个阶段，AI系统将主要通过与环境的直接交互来学习，不再局限于人类生成的数据。

论文指出，虽然基于人类数据的方法（如大型语言模型）已经取得了令人印象深刻的成果，但它们面临着几个关键限制：

  • 它们只能学习人类已经知道并记录下来的知识
  • 它们的能力受限于人类数据的质量和覆盖范围
  • 它们难以进行真正的创新和发现
  • 它们的学习过程与人类和动物的学习过程有本质区别

为了突破这些限制，作者提出了"经验时代"的概念，即AI系统将主要通过与环境的直接交互来学习。在这一新范式下，AI系统将：

  • 在连续的经验流中运行，而不是离散的片段
  • 基于真实世界环境进行行动和观察
  • 从可测量的结果中获得奖励，而不仅仅依赖人类判断
  • 发展出可能与人类思维模式完全不同的推理过程

作者特别强调了强化学习(RL)作为从经验中学习的自然框架的重要性。他们认为，强化学习与大型语言模型的结合将是实现这一转变的关键。例如，AlphaProof就是将预训练的语言模型与AlphaZero强化学习算法相结合的系统，用于形式数学证明。

论文详细介绍了AlphaProof的工作原理和成就。AlphaProof首先从人类证明中学习基本的数学推理能力，然后通过自我对弈的方式不断改进其证明能力。在这个过程中，系统生成了超过1亿个证明步骤，远远超出了人类数据的范围。最终，AlphaProof在国际数学奥林匹克竞赛中获得了奖牌级别的表现，这表明它已经具备了超越普通人类的数学证明能力。

作者认为，AlphaProof的成功是"经验时代"开始的标志。它展示了如何通过结合预训练语言模型和强化学习，使AI系统能够超越人类数据的限制，实现真正的创新和发现。

论文还讨论了"经验时代"对AI研究和应用的深远影响：

  • AI系统将能够在许多领域实现超人类能力，包括科学研究、工程设计、医学诊断等
  • AI系统将能够发现超越当前人类理解的知识，推动科学和技术的进步
  • AI系统的学习过程将更接近人类和动物的自然学习过程，可能导致更通用、更灵活的AI

最后，作者指出，虽然"经验时代"的转变已经开始，但仍面临许多挑战，包括如何设计有效的环境和奖励机制、如何确保AI系统的安全和对齐等。他们呼吁AI研究社区关注这些挑战，共同推动AI向"经验时代"过渡。

总的来说，《欢迎来到经验时代》提出了一个关于AI未来发展方向的重要观点：真正的AI突破将来自于超越人类数据的限制，通过直接经验学习实现超人类能力。这一观点对于理解当前AI研究的局限性和未来发展方向具有重要意义。

问题： 这里的experience强调的是AI直接与环境交互中学习，不应该翻译为体验更加确切吗，为什么要翻译为经验，经验会让大家误会为AI是依赖人类的经验，你觉得如何？

回答： 在这篇论文的上下文中，将"Experience"翻译为"经验"而非"体验"有几个理由：

  1. 强调学习过程 ：论文中的"Experience"强调的是AI通过与环境交互获取知识的过程，这与"经验"的含义（通过实践获得的知识和技能）更为接近。
  2. 与强化学习术语一致 ：在强化学习领域，"experience"通常被翻译为"经验"，指智能体与环境交互所获得的数据（状态、动作、奖励、下一状态）。这篇论文的作者Richard Sutton是强化学习领域的权威，论文中大量使用了强化学习的概念。
  3. 区别于人类经验 ：论文明确指出，AI将通过自己的交互来获取"经验"，而不是依赖人类的经验。这里的"经验"是AI自己通过交互积累的，而不是从人类那里获取的。

为了避免歧义：

  • 可以在文章开头或关键处明确解释"经验时代"指的是AI通过自身与环境的交互来学习的时代，而非依赖人类经验。
  • 双语并用 ：可以在中文"经验时代"旁边保留英文原文"Era of Experience"，以便读者理解原意。