BLOG

Zero-Shot Text-to-Image Generation (DALL·E) ​

论文在线阅读

中文翻译：零样本文字到图像生成

论文介绍 ​

  • 发表时间与作者：该论文由 OpenAI 的 Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever 等人撰写，于 2021 年 2 月首次发布在 arXiv 上。
  • 研究背景：在 DALL·E 之前，虽然已经有一些文本到图像生成的研究（很多基于 GAN），但它们通常在生成多样性、连贯性、对复杂或新颖文本描述的理解以及零样本（Zero-Shot）泛化能力方面存在局限。如何让模型根据任意文本描述生成高质量、符合语义的图像是一个巨大的挑战。
  • 解决问题：论文旨在创建一个能够根据自然语言文本描述直接生成对应图像的模型，并且这种能力是零样本的，即模型能够处理训练期间从未见过的文本-图像组合，理解并生成包含多个对象、属性和空间关系的复杂场景。
  • 解决效果：DALL·E (一个包含 120 亿参数的 Transformer 模型) 展示了前所未有的文本到图像生成能力：
    • 能够生成各种富有想象力且通常连贯的图像，例如“穿着芭蕾舞裙遛狗的萝卜宝宝”、“鳄梨形状的扶手椅”。
    • 对物体属性（颜色、形状、材质）、数量和空间关系有较好的控制能力。
    • 能够生成风格化的图像，并能进行简单的文本渲染。
    • 在零样本设置下，其生成的图像在人类评估中常常被认为优于之前的 SOTA 方法。论文使用了 FID (Fréchet Inception Distance) 分数和人类偏好研究来量化评估。
  • 影响力：DALL·E 的发布引起了轰动，极大地推动了多模态 AI 和生成模型领域的发展。截至 2025 年初，该论文已被引用数千次。它不仅展示了大规模 Transformer 在跨模态任务上的潜力，也直接启发了后续更强大的模型，如 DALL·E 2, Imagen, Stable Diffusion, Midjourney 等，开启了 AI 图像生成的新时代。

论文主要内容概括 ​

核心方法：将文本和图像视为统一序列 ​

DALL·E 的核心思想是将文本和图像都表示为一系列离散的 token，然后使用一个大型 Transformer 模型来学习这些 token 序列的联合分布。

  1. 图像 Token 化 (Image Tokenization)：

    • 使用一个离散变分自编码器 (discrete Variational Autoencoder, dVAE)。
    • dVAE 的编码器将输入的 256x256 像素图像压缩成一个 32x32 的网格，网格中的每个单元是一个来自包含 8192 个可能值的“视觉词汇表”的 token。
    • dVAE 的解码器可以将这些离散的图像 token 重建回像素图像。训练 dVAE 的目标是高质量重建，同时保持 token 的离散性。

  2. 文本 Token 化 (Text Tokenization)：

    • 使用标准的字节对编码 (Byte Pair Encoding, BPE)，将输入的文本描述转换为最多 256 个 token 序列。

  3. 统一建模 (Unified Modeling)：

    • 将文本 token 序列和图像 token 序列（展平成 1024 个 token）拼接在一起，形成一个总长最多为 1280 (256 + 1024) 的统一 token 序列。
    • 使用一个包含 120 亿参数的稀疏 Transformer 模型（类似于 GPT-3，但加入了针对 2D 图像 token 的注意力机制优化）来对这个统一序列进行自回归建模。
    • 训练目标是最大化序列的联合似然概率，即根据前面的所有 token（无论是文本还是图像 token）预测下一个 token。

生成过程 ​

  • 给定一个文本描述（prompt），将其 token 化。
  • 将文本 token 序列输入到训练好的 Transformer 模型中。
  • 模型以自回归的方式逐个生成 1024 个图像 token。
  • 将生成的图像 token 序列输入到 dVAE 的解码器中，生成最终的像素图像。

关键技术与发现 ​

  • dVAE 的有效性：证明了使用 dVAE 将图像表示为离散 token 是可行的，并且可以与 Transformer 良好结合。
  • Transformer 的跨模态能力：展示了大型 Transformer 架构在学习文本和图像之间复杂关联方面的强大能力。
  • 零样本泛化：模型能够理解并生成训练数据中未明确出现过的概念组合和场景。
  • 组合性：模型能较好地处理对象、属性和关系的组合。

局限性 ​

论文也指出了 DALL·E 的一些局限：

  • 细节保真度：生成的图像有时缺乏真实感和精细的纹理细节。
  • 属性绑定错误：对于复杂的描述，有时会将属性错误地分配给对象（例如，“一个蓝色的球在一个红色的立方体上”可能生成“一个红色的球在一个蓝色的立方体上”）。
  • 计数困难：难以精确生成指定数量的对象，尤其当数量较大时。
  • 对措辞敏感：生成结果可能对输入文本的微小变化很敏感。

主要结论 ​

  1. 文本和图像可以统一建模：将文本和图像都视为离散 token 序列，并用自回归 Transformer 建模是生成高质量图像的有效途径。
  2. 规模提升零样本能力：大规模模型（120 亿参数）对于实现强大的零样本文本到图像生成至关重要。
  3. dVAE 是关键组件：dVAE 提供了一种将连续图像空间映射到适合 Transformer 处理的离散表示的方法。

实际应用与意义 ​

DALL·E 的发布标志着 AI 在理解和创造力方面迈出了一大步：

  1. 开启 AIGC 新纪元：极大地激发了公众和研究界对 AI 生成内容 (AIGC) 的兴趣，特别是文本到图像生成。
  2. 推动多模态研究：展示了在单一模型中融合语言和视觉信息的巨大潜力。
  3. 催生创意工具：为艺术家、设计师和普通用户提供了强大的新工具，用于概念可视化和内容创作。
  4. 奠定后续模型基础：其核心思想和技术（如 dVAE、Transformer 建模）被后续更先进的模型借鉴和改进。

DALL·E 不仅是一个技术突破，更是一个文化现象，它让我们得以一窥未来 AI 在创意领域的可能性。