机器学习应用系列：T2RL，端到端深度强化学习因子挖掘与组合优化框架.pdf

机器学习应用系列：T2RL，端到端深度强化学习因子挖掘与组合优化框架。本文构建了一种“预测与决策相耦合”的两阶段量化选股框架 T2RL（Two-stage Transformer Reinforcement Learning Framework），旨在解决传统深度学习模 型仅聚焦于收益率预测而难以实现组合全局优化的问题。该框架将 Transformer 模型与强化学习算法有机结合，第一阶段通过深度学习挖掘具备 投资信号的因子，第二阶段利用强化学习进行动态权重优化，实现从个股预测 到投资组合构建的完整闭环，提升策略的收益能力和风险控制水平。

阶段一：深度学习因子挖掘。第一阶段构建了融合 Transformer与 Actor-Critic 机制的因子挖掘模型 TFAC。该模型利用 Transformer 的自注意力机制提取量 价时序数据中的深度表征，并通过 AC框架引入方向准确奖励函数，使模型同 样注重收益符号的正确性。回测显示 TFAC因子 RankIC 为 0.1119，多头组合 年化收益率 33.61%，优于传统 Transformer 模型，且大多数年份跑赢基准。

阶段二：强化学习组合权重优化。第二阶段构建了基于 Transformer 的 Soft Actor-Critic 组合优化模型 TFSAC。该模型首先根据 TFAC因子筛选出排名前 N 的股票构成候选池，将动作空间压缩至可控维度；随后在连续动作空间中学 习权重分配策略，以对数收益与方差构建奖励函数，平衡收益与风险。回测显 示，单日调仓下 T2RL 组合在全 A 范围内相对万得全 A 等权年化超额收益率 50.36%，相对因子多头组合年化超额收益率 31.06%；在 2日及 5日调仓频率 下，组合年化收益率相对因子多头组合年化超额收益率分别为 24.68%及 6.03%。不同调仓频次下策略均能稳定跑赢基准和 TFAC等权组合，且在因子 短期失效的时期，T2RL 仍可跑赢全 A 指数及多头等权组合。

沪深 300 指数成分股组合：在沪深 300 成分股内，TFAC 因子的 RankIC 为 6.35%，Top10%多头组合相对沪深 300 年化超额 8.55%。T2RLHS300 组合 在单日调仓下年化收益率 42.64%，相对沪深 300 年化超额收益率 30.87%， 相对因子多头等权组合超额 20.43%；在 2日及 5日调仓频率下，组合相对沪 深 300 超额收益分别为 25.74%和 11.91%，且同样可以跑赢因子多头等权组 合。分年度看，T2RLHS300 在大多数年份均能跑赢基准和等权组合。

中证 1000指数成分股组合：在中证 1000成分股内，TFAC因子的 RankIC为 9.17%，Top10%多头组合相对中证 1000年化超额 11.85%。T2RLZZ1000 组 合在单日调仓下相对中证 1000 年化超额收益率 48.19%，相对因子多头组合 年化超额收益率 32.21%。在 2 日及 5 日调仓频率下相对中证 1000 年化超额 收益率分别为 42.88%和 27.35%。相对因子多头等权组合年化超额收益率分别 为 27.47%以及 13.62%。