2026年机器学习应用系列：T2RL，端到端深度强化学习因子挖掘与组合优化框架

组合构建新范式—深度学习与强化学习方法论融合

当前，深度学习技术在量化选股领域的应用主要集中于收益率预测这一核心环节。研究 者们沿着两条主流路径不断突破：一是对传统多因子模型进行非线性拓展，通过神经网络学 习因子间的高阶交互，构建更具表达能力的非线性因子；二是构建端到端的时序模型，直接 从量价序列中挖掘预测信号，实现从历史数据到未来收益的直接映射。这些方法显著提升了 因子预测的精度，为量化投资提供了更为丰富的信号来源。然而，收益率预测本身并非投资 的终点。从因子预测到最终投资组合的构建，中间仍横亘着一道鸿沟：如何将个股层面的预 测信号转化为组合层面的权重配置，如何平衡收益与风险、控制换手与成本、应对市场状态 的变化，这些问题在传统的“预测-排序-加权”流程中往往被简化处理，难以实现投资目标 的全局优化。换言之，深度学习擅长从历史数据中提炼统计规律，却难以直接输出可执行的 交易决策。 强化学习的引入恰为这一困境提供了破局之道。作为以序贯决策为目标的机器学习范式， 强化学习天然适配投资组合的动态管理场景：智能体以最终收益（或经风险调整）为优化目 标，在连续动作空间中学习权重调整策略，能够将交易成本、风险约束等现实因素纳入决策 闭环，提供深度学习模型所无法直接贡献的决策增量。 基于上述思考，本文构建了一种“预测与决策相耦合”的两阶段量化选股框架（Two-stage Transformer Reinforcement Learning Framework，T2RL）。第一阶段，以 Transformer 为 骨干网络，融合 Actor-Critic 机制，构建具备投资信号意义的因子挖掘模型（TFAC），在时 序表征学习中引入收益方向奖励，使预测目标与投资目标初步对齐；第二阶段，依据预测因 子筛选优质股票池，引入基于 Transformer 的 Soft Actor-Critic 模型（TFSAC），在连续动作 空间中动态优化组合权重，实现从收益率预测到投资组合构建的完整闭环，为量化投资研究 提供一种新的范式探索。

1.1 Transformer 深度学习模型

Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型，最初被提出 用于自然语言处理领域，但其在时序数据处理中同样展现出强大的能力。相较于 LSTM（Long Short-Term Memory）,GRU（Gated Recurrent Unit）等循环神经网络，Transformer 摒弃 了递归结构，转而通过自注意力机制实现了全序列并行计算，这显著提升了训练速度。 此外，尽管 LSTM 和 GRU 通过门控机制缓解了梯度消失问题，但在超长序列中，这两 个模型仍可能丢失早期信息；而 Transformer 的自注意力机制则直接建模模型中任意位置间 的关联，无需依赖递归路径，因此相较于 LSTM 与 GRU，更擅长捕捉跨周期的时序规律。

Transformer 的核心模块包括多头自注意力层（Multi-Head Attention）和前馈神经网络 （Feed-Forward Network）。其输入序列首先通过嵌入层转换为向量表示，并加入位置编码 （Positional Encoding）以保留时序信息。自注意力机制通过计算序列中每个元素与其他元 素的相关性权重，动态调整信息聚合方式。

1.2 强化学习方法论概述

作为机器学习的一个重要分支，强化学习的发展是不同领域成果的交织。这其中首先包 括了现代心理学。1911 年，联结主义心理学建立者 Edward Thorndike 对生物的试错学习做 出了以下概括：令生物感到满足的行为会被持续强化，令其感到不适的行为则趋于弱化。这 一认识奠定了强化学习“奖励驱动行为”的底层逻辑。强化学习的数理基础可追溯至 20 世 纪 50 年代 Richard Bellman 的动态优化框架，其在离散随机过程中体现为马尔可夫决策过 程（MDP），核心要素包括状态转移的马尔可夫性、决策影响转移概率及最大化长期回报。 1989 年，Richard Sutton 提出时序差分学习，为强化学习算法奠定核心。 算法框架与工程实践的融合持续演进：1990 年代初，Gerald Tesauro 的 TD-Gammon 实现自博弈学习达到专家水平；2013 年，DeepMind 提出深度 Q 网络（DQN），实现从原始 像素学习人类水平的 Atari 游戏控制；此后，Actor-Critic 双网络结构支持连续动作空间，2016 年 A3C 算法和 2017 年 PPO 算法相继问世，至今仍被广泛应用。 强化学习有别于其他机器学习范式的应用情境，首先在于解决序列决策问题，强化学习 处理的并非单一的输入-输出预测任务，而是跨越时间步的连续决策过程。通过智能体与环境 的交互理解，智能体将能够学习如何不被单一时间截面上的收益最大化束缚，从而进行长远规划。在此基础上，强化学习能够学习探索与利用的权衡，也能处理诸如围棋这样的稀疏奖 励问题。

1.3 常见强化学习模型简介

在明确了强化学习的理论框架与核心机制之后，该部分将对主流强化学习算法进行系统 梳理。不同算法在求解 MDP 的思路上存在根本性差异，理解这些差异不仅有助于把握算法 的设计逻辑，也是在实际任务中进行算法选型的重要依据。 最常用的分类方式是按学习对象进行划分，算法可分为基于价值的方法（Value-Based）、 基于策略的方法（Policy-Based）以及同时维护两者的 Actor-Critic 方法。基于价值的方法通 过估计动作价值函数 Q^π(s,a)间接导出策略；基于策略的方法则直接对策略参数θ进行梯 度优化；Actor-Critic 方法将两者结合，以价值函数作为策略梯度估计的基准，兼顾稳定性与 效率。 按环境模型分，算法可分为无模型方法（Model-Free）与基于模型的方法（Model-Based）。 如前文所述，无模型方法直接从真实交互数据中学习，适用于环境复杂难以建模的场景；基 于模型的方法则通过构建环境的内部模型进行规划，在样本效率上具有显著优势。

按数据使用方式分，算法还可分为在线策略方法（ On-Policy）与离线策略方法 （Off-Policy）。在线策略方法要求每次参数更新所使用的数据必须由当前策略产生，数据利 用效率较低但训练稳定；离线策略方法允许借助经验回放池复用历史数据，样本效率更高， 但引入了数据分布偏移的风险。 目前，在金融市场上较为主流的 RL 算法包括基于价值的 DQN，基于策略的 PPO 和 Actor-Critic 范畴内的 SAC。