2025年AI大模型专题报告：Transformer架构的过去、现在和未来

1 Transformer 架构的过去和现在

1.1 人脑带来的启示：数据的无损压缩

人类大脑的进化伴随着神经系统的复杂化，包括神经元数量、类型、连接方式以 及大脑区域的扩展。这些变化主要由基因的复制和分化驱动。大脑区域的模块化 进化加速了这一过程，因为不同的模块可以独立进化。随着我们对大脑认知机制 的深入了解以及计算机科学的进步，研究人员尝试通过算法量化大脑的认知功能， 将人类的思维模式映射到人工智能上。目前，人工智能大模型的进化主要依赖于 人工版本的更新。而随着技术的发展，研究人员正在探索自我进化的模型，使其 能够自主完善和学习由自身生成的经验，从而推动人工智能向更高级的智能发展。

人类大脑在有限的资源条件下，通过神经元回路的自组装和微调，实现了高效的 信息处理。为了优化信息处理，大脑发展了高效的信息选择和投注机制——注意 力，而非依赖超大容量的处理能力。通过集中有限的计算资源于重要任务上，注 意力机制使大脑能够迅速分析关键信息并做出决策。在人工智能领域，受人类注 意力机制的启发，研究者开发了“自注意力机制”（Self-Attention），用于处理序列 数据，如自然语言中的文本。自注意力机制通过计算输入序列各部分之间的相似 度，并为每个部分分配不同的权重，从而更加精准地理解句子含义。这种机制能 够综合考虑输入的全面性和个别单词之间的相关性，提升对信息的理解能力。因 此，人工智能中的自注意力机制与人类大脑的注意力机制类似，都能在有限资源 下高效地处理信息，并优化决策过程。

“预测即压缩，压缩即智能”。从神经科学的角度来看，人脑依然远远超过当前的 大型语言模型（LLM）。尽管 LLM 的参数和连接数达到数万亿，但仍无法与人脑 的复杂性相提并论。人类大脑的进化依赖于选择和投注机制，以较低的容量实现 更高效的信息处理。人工智能的注意力机制主要是基于算法和模型来实现的，虽 然在功能上与人类的注意力机制有相似之处，但在实现原理和灵活性上存在显著 差异，例如对定性描述词的理解。当前 AI 的局限性或在于其学习效率的低下，而 非数据不足。真正的智能不仅是数据量的堆积，而是在于对信息的压缩和提炼， 类似于通过总结第一性原理的方式获取更深层次的智能。

1.2 Transformer 应运而生：Attention is all you need

Transformer 是一种基于注意力机制的神经网络架构，由 Google Brain 团队于 2017 年在论文《Attention Is All You Need》中提出。它在自然语言处理领域迅速 占据主导地位，并广泛应用于图像处理和语音识别等其他领域。Transformer 的出 现旨在解决循环神经网络（Recurrent Neural Network，简称 RNN）在处理长序列 数据时面临的并行化难题和长距离依赖捕捉困难。如下图 5 所示，Transformer 架 构由编码器（含输入嵌入、位置编码、多头注意力、前馈网络、残差连接与层归 一化）和解码器（含输出嵌入、位置编码、掩码多头注意力、编码器-解码器注意 力、前馈网络、残差连接与层归一化，最后经线性层和 Softmax 层输出）组成。 通过摒弃传统循环结构，Transformer 利用自注意力机制并行处理序列元素，显 著提升了训练速度和长距离依赖建模能力。此外，Transformer 模型通过多头注意 力机制（Multi-Head Attention，简称 MHA）解决了自注意力机制可能导致的有效 分辨率降低问题，增强了对输入数据细节的捕捉能力。

注意力机制的核心原理是依据输入序列中每个元素的重要性赋予不同的权重，使 模型能够聚焦于关键元素。在 Transformer 架构中，自注意力机制赋予了模型一种 独特的能力，即同时计算输入序列中所有位置之间的相互关系权重，并据此加权 生成每个位置的特征表示。具体而言，自注意力机制就像是赋予了序列中每个元 素（例如一句话中的每个词）一种“视野”，使它们能够同时“看到”序列中的其 他所有元素，并根据彼此之间的相关性重新分配权重。对于序列中的每个词，模 型会计算它与其他所有词之间的注意力分数，然后依据这些分数对所有词进行加权求和，从而得到该词的新表示。这一过程是并行地对序列中所有词同时进行的 ，极大地提升了模型处理序列数据的效率和效果。

在数学表达中，注意力机制的函数可以被定义为将一个查询（Query，简称 Q） 和一组键值对（Key-Value，简称 K-V）映射到一个输出，其中查询、键、值和输 出均为向量形式。具体来说，输出是计算值（V）的加权和，而每个值所分配的权 重则是基于查询（Q）与相应键（K）之间的兼容性函数计算得到的。用更通俗的 语言来解释这一过程： Query（查询）代表“我当前需要处理的信息”； Key（键）代表“可能相关的信息线索”； Value（值）代表“实际的相关内容”。 如下图 7 所示，在完成 Query 和 Key 的相似度计算后，通过 Softmax 激活函数将 原始分数转化为和为 1 的概率分布，就可以将输入向量中的数值解释为各个类别 或事件的概率。Softmax 函数的特点是会放大输入向量中较大值的相对优势，使 得最大值对应的概率更加突出，而其他较小值对应的概率相对较小。这有助于模 型在进行决策或分类时更加明确地倾向于可能性最大的选项。

在单一注意力机制的基础上，我们可以构建多个并行的注意力机制组合，这种组 合被称为多头注意力（Multi-Head Attention，简称 MHA）。多头注意力机制显著 扩展了模型的视野，使其能够从多个不同的角度同时关注输入信息，从而捕捉到 更丰富的特征和关系。这种机制不仅增强了模型对序列中依赖关系的学习能力， 还有效缓解了单一注意力机制可能遇到的有效分辨率降低等问题，进而显著提高 了模型的整体性能和准确性。通过这种方式，多头注意力机制为模型提供了更强 大的表达能力和更高效的计算效率。

1.3 Transformer 的优势：规模扩展、多模态能力

位置编码与并行化助力长距离依赖处理。Transformer 模型通过位置编码赋予输入 序列中各元素顺序信息，使其能区分不同位置的元素，从而有效处理长距离依赖， 这在机器翻译等任务中极为关键。对比 Transformer 和 LSTM 在不 同参数数量和上下文长度下的测试损失，Transformer 在处理长上下文方面更具优 势，能更好地利用长上下文信息，且随着参数和上下文长度的增加，其性能提升 更为显著。与 RNN/LSTM 相比，Transformer 可同时处理所有标记，避免了信息 衰减或消失的问题，还能充分利用 GPU 等现代计算设备的并行计算能力，大幅 提升训练效率。例如在处理百词长句时，RNN 需逐词处理，而 Transformer 则可 一次性完成。

助力模型高效训练与规模拓展。Transformer 的并行计算优势显著提升了模型训练 效率，使其在处理大规模数据集如语言模型预训练、机器翻译等任务时，能在更 短时间内完成训练。以 GPT 系列为例，其快速预训练得益于此。同时，训练效率 的提高也推动了 Transformer 模型规模的扩大，更大规模的模型能学习到更丰富的 特征和复杂模式，近年来出现了如 GPT-3、Megatron-LM 等超大规模 Transformer 模型，在自然语言处理领域取得了突破性成果。

跨模态应用广泛。Transformer 架构的灵活性，使其成为众多非自然语言处理领域 先进模型构建的基础框架，展现出广阔的应用前景。Transformer 架构具备一项 关键能力，即能够将不同模态的数据映射到统一的特征表示空间。以多模态任务 中的文本与图像处理为例，Transformer 首先将文本数据转化为词向量，同时将图 像数据转换为像素特征向量。在完成这一转换后，这些来自不同模态的特征向量 便能够在同一特征空间内进行有效的处理与交互。相比之下，Transformer 的前 期架构，例如 CNN，虽然擅长处理视觉数据，在图像处理任务中有强大的优势， 但跨模态信息的融合能力相对较弱；而 RNN/LSTM 虽然适合处理序列数据，尤 其是文本和语音数据，但在跨模态任务中的长程依赖和效率上较为薄弱。这种统 一的特征表示方式，显著降低了不同模态数据融合与比较的复杂度，进而助力多 模态模型更加高效地整合和分析来自多种数据源的丰富信息。

2 Transformer 架构的未来

Transformer 架构通过并行处理整个输入序列，显著加快了训练和推理时间，且并 行处理能力与自注意力机制的结合使得基于 Transformer 架构的大模型能够有效 捕捉长距离依赖关系和上下文信息。尽管 Transformer 凭借着诸多优势成为如今的 主流架构，但其并非尽善尽美，仍有无法避免的局限性。

2.1 Transformer 架构的局限性

计算复杂度过高。自注意力机制（Self-Attention）的计算复杂度为 O(N2d)，其中 N 是序列长度、d 为 token 嵌入的维度。简单来说，这使得 Transformer 模型的计 算复杂度会随着输入序列长度（token 数量）的增加呈二次方增长。

模型规模的扩大将显著增加训练和部署成本。在计算资源方面，基于 Transformer 架构的模型不仅需要大量的计算资源，还要求高效的并行处理能力，这使得训练 成本需要覆盖高性能的 GPU 和大量的存储空间，且随着序列长度的增加，其平方 级的扩展导致高内存使用，因而对内存需求也极大。

计算复杂度和计算成本带来最直接的影响是限制 Transformer 在长序列下的应用。 虽然 Transformer 能够准确捕捉短距离的文本关系，但其注意力机制的计算复杂度 会随着序列长度呈二次增长，这使得处理长文本时的计算成本变得难以承受，因 而大部分大模型会将支持的上下文长度框定在一定范围内。当下基于 Transformer 架构的大模型支持的上下文长度已有所拓展，这正是研究者意识到 Transformer 架 构局限性后对注意力机制等方面进行改进的结果，且改进后的上下文长度仍无法 比肩一些新兴架构。

2.2 Transformer 架构的挑战者

如谷歌 CORE ML/AI 副总裁 Bill Jia 在访谈中所说，大模型的未来发展有着三条 方向： 一是基于现在的架构继续构建基础大模型，增加参数、投入更多的训练资源； 二是基于大语言模型构建垂直模型，通过蒸馏模型、量化模型来让模型变得 更小、更有效率、更有性价比； 三是离开现在主流的 Transformer 架构，寻找不同的模型架构。

构建全新的模型架构突破 Transformer 的局限性无疑是极具挑战性的一个方向，但 也会带来更多创新、有更多遐想空间。目前研究人员正在积极探索可能取代或增 强 Transformer 的全新架构，并提出了数个潜在的替代架构，本文将主要探讨以 下几种架构。

2.2.1 RetNet

RetNet 引入了一种多尺度保留机制（Retention）来替代多头注意力，它有三种计 算范式：并行、循环和分块循环表征。保留机制本质上是 RNN 和 Transformer 核 心原理的融合，即 Recurrent 和 Self-Attention。RetNet 采用了递归方式来计算注意力分数，且仍然支持一定程度的并行计算，使得其结合了并行和循环的特点。首 先，并行表征使训练并行化，以充分利用 GPU 设备。其次，循环表征法在内存和 计算方面实现了高效的 O(1)推理。部署成本和延迟可以显著降低，同时无需键值 缓存技巧，大大简化了实现过程。此外，分块循环表征法能够执行高效的长序列 建模。研究者对每个局部块进行并行编码以提高计算速度，同时对全局块进行循 环编码以节省 GPU 内存。

RetNet 架构同时具备训练可并行、推理成本低和良好性能的特点。在训练过程中， RetNet 能够比标准 Transformer 节省 25-50%的内存，实现 7 倍的加速，并在高度 优化的 Flash Attention 方面具有优势。此外，RetNet 的推理延迟对批大小（batch size）不敏感，从而实现了巨大的吞吐量。在 Scaling 曲线和上下文学习方面，RetNet 始终表现出竞争力。RetNet 的推理成本与长度无关，对于 7B 模型和 8k 序列长度， 其解码速度是带键值缓存的 Transformers 的 8.4 倍，同时内存节省 70%。这些特 性使得 RetNet 成为一种高效且经济的神经网络架构。当然，RetNet 作为一种具备 RNN 特点的架构，其建模长距离依赖能力仍需后续验证，目前的实际落地应用也 较少。

2.2.2 Mamba

Mamba 集中了循环神经网络（RNN）的循环框架、Transformer 的并行计算和注 意力机制、状态空间模型（SSM）的线性特性。状态空间模型（SSM）是一种传 统的数学框架，可用于描述系统随时间变化的动态行为。Mamba 引入一个简单却 有效的选择机制，其可根据输入对 SSM 进行重新参数化，从而可让模型在滤除不 相关信息的同时无限期地保留必要和相关的数据。Mamba 还包含一种硬件感知型 算法，可使用扫描（scan）而非卷积来循环地计算模型，提升计算速度。后续的迭 代版本 Mamba-2 利用结构化空间状态对偶（SSD/Structured Space-State Duality） 构建了一个将结构化 SSM 与多种形式的注意力连接起来的稳健的理论框架，让原 本为 Transformer 开发的算法和系统优化技术可迁移用于 SSM。

Mamba 架构以线性增长的低计算开销和硬件感知型算法实现了对长序列数据的 高效处理，显著提升了计算速度和性能。与 Transformer 相比，Mamba 的计算开 销随序列长度线性增长，这使得它能够处理更长的文本序列，同时大幅降低计算 成本。此外，Mamba 采用了硬件感知型算法，使用扫描进行循环计算，在 A100GPU 上能够将计算速度提升 3 倍，进一步增强了其在处理长序列数据时的效率和性能。

Mamba 架构并非没有缺陷，记忆丢失、难以泛化到不同任务、在复杂模式方面的 表现不及基于 Transformer 的语言模型等问题仍然存在，但开源的研究社区为 Mamba 架构提出了诸多改进方案，后续将继续优化。

2.2.3 RWKV（Receptance Weighted Key Value）

RWKV 是循环神经网络（RNN）的一个变体。RWKV 架构由一系列堆叠的残差 块组成，每个残差块由具有循环结构的时间混合（time-mixing）和通道混合 （channel-mixing）子块组成，该循环通过将当前输入和上一时间步的输入之间进 行线性插值来实现（在 RWKV-4 架构论文中正式提出，这一过程被称为 token shift， 将 RWKV 接收的每个 token 和前一个 token 做混合）。Token Shift 让模型可以控制 每个时间步将多少新信息与旧信息分配给每个头的接收、键、值和门向量。

RWKV 架构仍在不断迭代。RWKV-5 引入了多头的、基于矩阵值的状态（state）， 即论文中的“multi-headed matrix-valued states”。RWKV-V6 在 RWKV-V5 的基础上 引入了基于低秩适应（LoRA）的动态递归机制，进一步优化了 Token Shift 和 timemixing 过程，使 RWKV-4/5 的简单线性插值（lerp）变成了数据依赖的、动态的线 性插值（ddlerp）。最新版本的架构 RWKV-7 采用了动态状态演化（Dynamic State Evolution），其架构的训练和推理代码均已定稿，架构论文仍在撰写过程中。

RWKV 架构融合了 RNN 和 Transformer 的优势，展现出出色的性能、恒定的显 存占用、恒定的推理生成速度以及“无限”的上下文长度，同时提供免费的句嵌 入，且完全不含自注意力机制。在资源使用方面，RWKV 在运行和训练时对 VRAM、 CPU、GPU 等资源的需求更低，与较大上下文的 Transformer 相比，其计算需求降 低了 10 倍到 100 倍。此外，RWKV 支持以线性方式扩展到任何上下文长度，而 Transformer 则是以二次方扩展。在答案质量和泛化能力方面，RWKV 的表现与 Transformer 架构相当。

基于 RWKV 架构的模型的不足在于 RWKV 基底模型对提示词（prompt）的格 式非常敏感，提示词的格式对生成结果有较大影响。且由于架构设计的原因， RWKV 模型在需要回顾的任务上表现较弱，因此需要恰当地对提示词进行排序。 例如，应先给模型提供任务指令，然后再提供需要执行任务的材料文本，以确保 模型能够更有效地理解和执行任务。

2.2.4 Hyena

Hyena 由两个高效的二次基元递归定义的算子（交织隐式参数化的长卷积和数据 控制的门控）组成，构建了一个高效、灵活且计算复杂度低的注意力替代算法， 用于来取代 Transformer 架构中的注意力函数。Hyena 算子定义了两种高效的亚二 次基本操作：隐式长卷积和数据控制的对角矩阵乘法。递归深度决定算子大小， Hyena 可表达为与数据相关的对角矩阵和托普利茨矩阵的乘积。它具有亚线性参 数缩放、不受限制的上下文及比注意力机制更低的时间复杂度。与 Transformer 中 的注意力算法相比，该运算符的主要优点是时间复杂度降低，由于使用卷积(具体 来说是傅里叶空间中的卷积)并应用 FFTConv 运算，时间复杂度为 O(n*log(n))而 不是 O(n2 )。

Hyena 能够显著缩小与注意力机制的差距，以较小的算力预算来达到相同效果。 在序列长度为 2K 时，Hyena 将训练计算量减少了 20%，达到了 Transformer 的质 量。当序列长度为 8K 时，Hyena 算子的速度是高度优化注意力的两倍，而在序列 长度为 64K 时，速度是 100 倍。Hyena 目前的表现十分出色，不过 Hyena 运算不 支持 Mask（用于大语言模型预训练建模过程中的遮盖），这也导致使用 Hyena 架 构进行生成式预训练建模不够灵活。Hyena 的跟进应用也较少，未来应用空间有 待进一步验证。

2.2.5 线性注意力机制

线性化处理 Softmax 操作，降低时间复杂度，提升模型效率。线性注意力机制通 过对传统注意力机制中的 Softmax 操作进行线性化处理，将时间复杂度降低到线 性（O(N)），从而提高 Transformer 模型的并行性能、降低复杂度，在计算效率、 模型表达能力等方面都具有优势。但线性注意力相比 Softmax 注意力建模长距离 依赖能力较差，目前的研究正在着重解决这个问题。线性注意力机制相关研究作 为改进 Transformer 架构的重要方向，目前 Agent Attention、TransNormerLLM、 MiniMax-01 等模型研究都取得了一定进展。

Agent Attention：一种新的注意力机制，通过在传统注意力模块中引入一组 额外的代理向量 A，实现了从键 K 和值 V 中高效聚合信息，并将这些信息有 效广播回查询向量 Q。这一设计不仅显著提升了计算效率，还保留了全局上 下文建模的强大能力。Agent Attention 的创新之处在于，它成功地将传统的 Softmax 注意力与线性注意力无缝集成，形成了一种全新的注意力范式。这 种范式不仅具备高表达能力，同时拥有低计算复杂度的优势。实验表明，Agent Attention 在多种视觉 Transformer 模型及不同视觉任务中均表现出色，尤其 在处理高分辨率场景时效果更为显著。此外，Agent Attention 还可应用于预 训练的大规模扩散模型，有效加速图像生成过程，并显著提升生成图像的质 量。

TransNormerLLM：由上海人工智能实验室和 OpenNLPLab 首个线性注意力 Transformer 大模型。该模型完全放弃了传统的 Softmax 注意力机制，转而采 用线性注意力机制，将 Softmax 注意力分解为多个线性运算，从而将计算复 杂度从平方级别降低到线性级别，极大地提高了模型的效率，使其能够处理 更长的序列。为了进一步提高线性注意力的计算效率，TransNormerLLM 引 入了 LightningAttention 技术，LightningAttention 将输入数据分割成多个块， 并分别进行计算，从而减少了内存访问次数并提高了计算速度，研究团队表 示其可以将线性注意力在训练时的速度提升两倍，并且其还能通过感知 IO 将 内存用量减少 4 倍。

MiniMax-01 系列模型：首次将线性注意力机制扩展到商用模型的级别。 MiniMax-Text-01 架构以结构化的方式整合了线性注意力和 Softmax 注意力 机制。通过使用线性注意力，原生 Transformer 的计算复杂度可从 O(N2 )大幅 下降到 O(N)。MiniMax 的相关技术报告中写道，这主要是得益于一种右边积 核技巧（right product kernel trick）。基于 Lightning Attention，MiniMax 还提 出了一种 Hybrid-lightning，即每隔 8 层将 LightningAttention 替换成 Softmax 注意力，从而既解决了 Softmax 注意力的效率问题，也提升了 Lightning Attention 的 scaling 能力。

2.3 架构展望：更低计算复杂度、更低成本、更高效率

目前对 Transformer 架构的未来，主要有两条道路，一是被更优秀的全新架构替代， 二是在原有架构基础上通过优化注意力机制等方式进行升级，这两条道路都是通 往计算复杂度更低、计算成本更低、效率更高这个目标。AI 大模型的未来方向也 是如此，一方面可能会探索全新的基础理论和模型架构，从根本上颠覆现有技术 体系；另一方面，也会在现有技术框架内深挖潜力，例如优化参数高效化、开发 更智能的训练方法、降低对数据和算力的依赖等。无论选择哪条路径，最终的目标都是实现更高的性能、更强的泛化能力、更低的资源消耗，以推动 AI 在更多实 际场景中的应用，同时让其更加可持续的普惠化的发展。

编辑：火腿肠