2025年金工深度研究:与时偕行,AI模型如何应对数据漂移

  • 来源:华泰证券
  • 发布时间:2025/02/24
  • 浏览次数:518
  • 举报
相关深度报告REPORTS

金工深度研究:与时偕行,AI模型如何应对数据漂移.pdf

金工深度研究:与时偕行,AI模型如何应对数据漂移。人工智能86:与时偕行:AI模型如何应对数据漂移?金融数据分布在时序上的非平稳性对AI量化模型是关键性挑战,有效应对数据漂移或可提升AI模型的表现。本研究由两部分构成,第一部分针对时序预测问题中数据漂移的应对方法进行调研和综述;第二部分基于AI量化模型应对市场变化的代表性研究进行多方面改进和实证。结果表明,针对特征提取模块结构、门控机制等改进均有效。将传统AI量价因子与市场特征门控因子合成,基于其构建的中证1000指数增强组合2016-12-30至2025-01-27年化超额收益25.6%,信息比率3.24,业绩表现提升显著。应对数据漂移的三个...

导读

金融市场庞大复杂,瞬息万变,传统 AI 模型多基于独立同分布假设构建,当数据分布随着 时间动态变化时,若模型依然固守成规,则其预测结果很可能产生偏差。因此,提升 AI 量 化模型表现的关键在于使得模型具有应对数据漂移的能力。 本研究首先针对 AI 时序预测模型应对数据漂移的方法进行广泛的调研和综述。数据漂移及 其应对方式在时序预测领域是炙手可热的话题之一,相关研究屡见不鲜。总结而言,应对 数据漂移的方式主要分为三类: 1、 数据分布:在模型训练前/过程中对非平稳的时间序列数据进行动态调整; 2、 模型结构:改进神经网络结构以动态检测和适应数据分布漂移; 3、 训练模式:利用在线学习、元学习、动态集成等方式提升模型迭代速度。 以上研究中也不乏针对量化领域 AI 模型做出的改进。其中 Li 等人于 2024 年发表于 AAAI 的会议论文针对股票市场中数据漂移的问题提出了 Master 模型,主要做出两方面的创新: 1、 市场特征门控模块:通过门控模块引入市场状态对个股特征进行动态加权; 2、 多维注意力特征提取模块:构建三层注意力模型对股票截面及时序信息动态建模。 本研究在 Master 模型的基础上,对门控模块、特征提取模块和不同特征集进行多方向改进 和实证,结果表明门控机制、注意力特征提取层等改进均有效。最终基于市场特征门控合 成因子构建中证 1000 指数增强组合,业绩得到显著提升。

AI 模型如何应对数据漂移?

股票收益率预测问题面临的核心挑战之一为股票市场的非平稳性。股票特征与预期收益率 之间的关联具有时变特性,即股票市场的统计规律易受到市场风格切换、投资者风险偏好、 经济周期波动、货币政策调整、监管规则变更等多重因素影响。而传统 AI 量化模型多假设 数据符合独立同分布,基于历史数据静态建模,在市场状态切换时容易失效。 AI 量化模型如何适应市场状态?该问题其实可以拆解为两个部分: 1、 时序预测任务中,AI 模型如何应对数据漂移? 2、 如何将这些方法应用于股票收益预测任务以提升 AI 量化模型表现? 以上话题是学术界的研究热点,本节中对近年来相关研究进行综述。

时序预测模型如何应对数据漂移?

在时序预测领域,数据的时序分布偏移(Temporal Distribution Shift)和概念漂移(Concept Drift)是影响模型预测准确性的关键因素。两者从不同角度描述了时序数据的非平稳性,其 中时序分布偏移特指过去训练数据与未来测试数据之间分布的不一致,也称为“协变量漂 移”或“特征漂移”;概念漂移特指输入特征与预测目标之间基础关系随时间的改变。两种 漂移现象都会对模型预测造成影响,导致模型预测精度下降,产生误导性结果和决策。

针对数据漂移的问题,学术界提出了多种应对方法,从改进视角出发主要可归纳为数据分 布、模型结构、训练模式三个维度。

数据分布

第一类应对方法从数据视角出发,对非平稳的时间序列数据进行调整。Passalis 等(2020) 构造了一种深度自适应标准化层 DAIN(Deep Adaptive Input Normalization),将数据标准 化步骤融入到神经网络模型中,构造了一种端到端的自适应标准化模型,在训练的过程中 学习时序数据的偏移(shifting)、缩放(scaling)和门控(gating)等标准化规律,并在 推理时对输入特征进行自适应的标准化。

Kim 等(2021)提出了一种可逆时序标准化方法 RevIN(Reversible Instance Normalization), 对输入时间序列进行可学习的标准化变换,将非平稳时间序列转化为符合标准分布的时序 特征进行训练,对模型预测目标时序分布再进行逆标准化还原原始数据中的时变信息。

Liu 等(2022)在 Transformer 模块的基础上改进得到了非平稳 Transformer。该模型框架 同样采用可逆平稳化的方式处理输入输出时间序列,但在模型结构中将 Transformer 中的注 意力机制改进为去平稳化的注意力机制(De-stationary Attention),将非平稳时间序列信息 注入神经网络中。

Fan 等(2023)提出了一个名为 Dish-TS(Distribution shift in Time Series)的通用时序分 布自适应调整框架,利用任意形式的系数网络(CONET)捕捉回望窗口和预测窗口时序数 据的水平(level)和尺度(scale)特征,在模型训练和推理阶段缓解回望窗口内的数据漂 移以及回望窗口与预测窗口间数据漂移现象。

模型结构

第二种应对方法从模型结构出发,重点在于让模型能学习和预测数据分布的变化,从而适 应非平稳的时间序列。其中,Du 等(2021)提出了一种网络结构 AdaRNN,将迁移学习 和循环神经网络相结合。其核心思路分为两步,第一步通过时序相似性量化模块 TDC (Temporal Distribution Characterization)将历史时间序列分成分布差异最大的多个小段; 第二步通过时序分布匹配模块 TDM(Temporal Distribution Matching)基于这些不同分布 的序列,让模型学习共性信息,从而在预测有分布变化的数据时,能够更好地根据共性信 息实现泛化。

微软亚研院的 Li 等(2022)提出了 DDG-DA 模型,该模型认为导致数据分布漂移的某些 因素是可预测的,因此其设计了一个预测器用于预测数据未来可能发生的漂移,并根据预 测数据分布对训练数据进行重采样生成新的数据集,再基于新数据集进行预测,从而减小 训练数据和预测数据间的分布偏差,提升模型表现。

与 AdaRNN 思路类似,Lu 等(2022)提出了一种基于对抗学习的域外表示学习框架 DIVERSIFY,该框架优化目标是一个 Min-Max 问题,一方面让模型自动学习如何将时间序 列切分属于多个域的片段,最大化各个域片段的分布差异;另一方面,学习域无关的共性 表征,最小化模型在不同域中的预测误差。

哈佛大学的 He 等(2023)提出了 RAINCOAT(fRequency augmented AlIgN-then-Correct for dOmain Adaptation for Time series)模型,对训练域和预测域时间序列数据分布的时域 和频域特征进行建模,通过对齐、修正和推理三个阶段实现域自适应。

Wang 等(2023)针对多变量时序异常检测场景下的数据漂移问题,提出了 D3R(Dynamic Decomposition with Diffusion Reconstruction)模型,包含动态分解和扩散重构两个模块。 其中动态分解模块针对时序数据漂移现象构建了时序数据-时间戳混合注意力机制,并在训 练过程中加入漂移项噪声以增强模型的鲁棒性。

Chen 等(2024)提出了一个数据漂移检测和自适应框架,主要包括了 Reconditionor (Residual-based context-driven distribution shift detector)和 SOLID(Sample-level cOntextuaLIzed aDapter)两个模块,其中 Reconditionor 模块用于评估预测残差与数据分 布之间的互信息,以衡量模型对分布漂移的敏感度,当探测到严重偏移时,SOLID 模块则 会利用有限步数对模型的预测层进行微调,从而实现最优的偏差方差平衡。

训练模式

第三类应对方法着眼于改进模型训练模式,通过在线学习、元学习等方式让模型更及时准 确的适应新数据分布。其中,Pham 等(2022)提出 FSNet(Fast and Slow learning Network), 借鉴互补学习系统(Complementary learning systems theory,CLS)理论,FSNet 设计 了一个快-慢学习网络用于在线时序预测场景,对于神经网络中的每一层均设计一个快速适 应单元和一个联想记忆单元,通过检测两者的梯度相似性动态更新模型参数。

Zhang 等(2023)设计了一种双流在线模型集成框架 OneNet(Online Ensembling Network), 该框架并行维护两个互补的预测模型分别对时序数据的时间维度、变量维度进行建模,同 时引入强化学习模块,结合长期权重更新与短期历史反馈,在线调整模型集成权重。

Zhao 等(2023)提出了一个元学习框架 DoubleAdapt,包含两个基学习器:数据适应模块 和模型适应模块。其中数据适应模块的作用类似第一种改进视角,即对数据分布进行动态 调整,模型适应模块基于调整后数据优化模型预测准确性;而元学习器的目标即通过多个 训练任务优化该两个基学习器的超参数,提升模型在线推理时对新数据分布的适应能力。

Zhao 和 Shen(2024)提出了一种具有主动适应能力的在线学习框架 PROCEED,该框架 通过一组编码器捕捉近期训练数据与测试数据间的概念漂移,并将其映射至模型权重之上, 从而在模型在线推理时引入数据漂移信息,达到主动自适应调节的效果。

量化选股场景中如何实践?

以上汇总文献主要针对时序预测任务中的数据漂移问题提出了相对通用性的解决方案,除 此之外也不乏直接围绕量化选股中股票收益预测任务中数据分布漂移问题所做的研究。 近期前沿研究中较有代表性的是由上海交通大学以及阿里的 Li 等人于 2024 年发表于 AAAI 的会议论文,该研究针对股票市场中数据漂移的问题,提出了 Master(MArket-guided Stock TransformER)模型,主要做出了两方面的创新: 1、 市场特征门控模块:将市场状态以宽基指数对应指标的形式显式表达,并通过门控模块 输入神经网络,对个股特征进行动态加权; 2、 多维注意力特征提取模块:模型主体由两层标准自注意力层以及一层简化注意力层堆叠 而成,前两层分别提取每只股票时序变化的信息、单个截面各个股票间的信息,最后一 层对时序信息进行聚合得到当前时间步的输出。 Master 模型针对数据分布漂移的解决方案可归类为模型结构的优化。与 Chen 等(2024) 研究思路类似,将市场特征视作模型预测时的上下文信息,在不同的上下文背景(市场环 境)下对模型进行微调(调整输入特征权重)。

该模块接受两部分输入,分别为市场信息特征和常规的个股特征,其中市场信息特征的维 度为T × Dmarket,T 为时序长度,Dmarket 为市场特征数。经一层线性层以及 Softmax 层变 换后即可得到归一化的市场特征权重,该权重即不同市场状态下的个股特征重要性。其中 Softmax 层中还引入了一个额外参数 ?,用于控制市场特征对于个股特征的缩放幅度。将 得到的市场特征权重与个股特征在后两个维度上直接相乘即可实现根据不同市场状态对个 股的各特征权重进行动态调整。 模型主体部分也有别于传统 Transformer 模型。

其中前两层采用标准的多头自注意力层,分别提取时序维度 T 以及股票维度 N 上的注意 力特征,最终输出一个包含时空注意力特征的隐状态层。最后一层以该隐状态作为输入, 将该隐状态的最后一个时间步作为查询向量,计算其与其他时间步之间的注意力权重,再 与输入隐状态点积,将前两层提取的所有时间步信息聚合到最后一个时间步作为模型输出。

方法

Master 模型的市场特征门控机制和注意力机制设计逻辑清晰,结构巧妙,均有较大参考价 值。本研究借鉴该模型,开展系列实验,尝试提升 AI 量化模型表现,并应用于指数增强组 合的构建。

模型结构

参考 Master 模型结构设计,本研究拟测试神经网络结构主要包含门控模块和特征提取模块。 其中门控模块设计采用两种方案,方案一与原文献保持一致,使用单层线性层提取市场特 征权重;方案二将线性层替换为注意力层,将市场特征作为查询向量和键向量,将个股特 征作为值向量,利用市场特征输出的注意力权重调整个股特征的重要性。

模型主干的特征提取模块同样测试两种方案,方案一与原文献保持一致,即采用三个注意 力层提取和聚合;方案二将注意力层替换为华泰金工前期报告中常用且证实有效的 GRU 模 块作为对比。

数据集

市场特征

市场特征用于刻画市场当前状态,需选择具有代表性的指标。原论文中作者采用沪深 300、 中证 500 以及中证 800 三个指数的量价指标作为市场特征,然而原论文中的任务选股域仅 局限于中证 800 成分股。因此本研究拟将宽基指数扩展至中证全指域,分别选取沪深 300、 中证 500、中证 1000 和中证全指四只指数的各 21 个量价指标共构建 84 个刻画市场状态的 特征。21 个量价指标分 5 组,分别刻画宽基指数近期收益率及成交额的变化及波动,构造 方法与原论文保持一致。

个股特征

原论文中个股特征选用微软 qlib 框架中的预置特征集 Alpha158,本研究中在此基础上额外 测试两组特征集,分别为基本面+量价特征集 Fundamental64 以及资金流特征集 MoneyFlow93。其中基本面+量价特征集从价值、成长、盈利、预期等多个维度计算 64 个 基本面及量价指标,资金流特征集来自 Wind 底层表 AShareMoneyFlow,包含不同类型投 资者、不同交易时间段共 93 个资金流入流出数据。

结果

GRU vs Master

本节对特征提取模块进行对比测试。分别使用 GRU 和 Master 模型中的三层注意力神经网 络在三组特征集上进行训练,模型均不加入市场特征门控模块。

以上结果表明,Master 模型中的三层注意力特征提取模块总体效果优于双层 GRU: 1、 从预测因子评价指标看,三层注意力模型在三组数据集上 RankIC 均值相比 GRU 模型 均可提升约 0.7 pct,RankICIR 略有降低; 2、 三层注意力模型在三组数据集上分层回测多头组收益均高于 GRU 模型,其中在数据集 Fundamental64 上多头收益提升效果较突出; 3、 从中证 1000 指数增强组合业绩看,三层注意力模型在三组数据集上年化超额收益及信 息比率等指标均优于 GRU 模型,对于 MoneyFlow93 及 Fundamental64 数据集提升 效果突出,全区间年化超额收益可提升约 2 pct。

线性门控 vs 注意力门控

本节重点对比线性层门控模块与注意力机制门控模块表现。根据上节结论,本节线性层门 控模块中缩放系数参数 ? 设置为 3。本节基于 GRU 和三层注意力特征提取模块,分别搭 配线性层门控模块和注意力机制门控模块进行实验,在 Alpha158,MoneyFlow93 和 Fundamental64 三组特征集上进行测试。

从以上结果可知,线性门控模块和注意力门控模块均有效,其中注意力门控模块对应组合 业绩表现有显著提升,具体来说: 1、 从因子评价指标看,线性门控模块和注意力门控模块孰优孰劣并无确定性结论。从 RankIC 看,对于 GRU 模型,线性门控模块在三组数据集上均表现最好,而对于 Master 模型,注意力门控模块综合表现较优。 2、 从中证 1000 组合业绩看,注意力门控模块综合表现占优。除 Master 模型在资金流数 据集上表现一般之外,其余情况下注意力门控模块对应组合年化超额收益率和信息比率 指标均最高,相比未加门控机制模型年化超额收益率可提升 1 至 4 pct,信息比率可提 升 0.1 至 0.5 的水平。

因子相关性分析

本节对加入门控机制前后模型输出预测因子间相关性进行对比。选取因子包括两种特征提 取模块在不加门控、线性门控和注意力门控的情况下在三组特征集上训练得到的因子。

可以发现,不同数据集因子相关性较低,GRU 模型与 Master 模型因子相关性同样也较低, 普遍在 0.6 左右;同模型同数据集不同门控模块因子相关性较高,普遍高于 0.9;另外本文 测试因子与 AI 端到端因子相关性普遍较低,大多数不超过 0.5。

因子合成与组合构建

本节基于前文构建因子,结合 AI 端到端因子挖掘模型输出因子合成得到综合因子,并基于 该因子构建中证 1000 指数增强组合。本节拟构建三个合成因子,具体构建方法如下。其中 合成因子 1 和 2 作为基线参考,分别对应传统端到端 AI 量价多频率合成因子,以及三组特 征集 GRU 合成因子的表现,合成因子 3 在端到端 AI 量价因子的基础上,引入市场特征门 控和三层注意力特征提取模型的预测因子。以上每组因子合成时权重均为等权。

对比以上结果可知,在传统端到端 AI 量价等因子的基础上加入市场特征门控因子后表现得 到了较为显著的提升。其中: 1、 对比三组合成因子表现可知,三组新特征集经基础 GRU 模型合成后因子表现一般,而 加入市场特征门控以及三层注意力特征提取模块后合成因子表现提升显著; 2、 从因子评价指标的角度看,合成因子 3 的 RankIC 均值达到 14.5%,在端到端 AI 量价 合成因子的基础上提升了 0.8 pct,RankICIR 达到 1.43,在端到端 AI 量价合成因子的 基础上提升了 0.27,改进效果显著; 3、 经组合优化后,中证 1000 指数增强组合自 2016-12-30 至 2025-01-27 年化超额收益 25.6%,信息比率 3.29,业绩表现优异。

总结

金融数据分布在时序上的非平稳性对 AI 量化模型是关键性挑战,有效应对数据漂移或可提 升 AI 模型的表现。本研究从两个部分进行展开,第一部分针对时序预测问题中数据漂移的 应对方法进行调研和综述;第二部分基于 AI 量化模型应对市场变化的代表性研究进行多方 面改进和实证。结果表明,针对特征提取模块结构、门控机制等改进均有效。将传统 AI 量 价因子与市场特征门控因子合成,基于其构建的中证 1000 指数增强组合 2016-12-30 至 2025-01-27 年化超额收益 25.6%,信息比率 3.24,业绩表现提升显著。 应对数据漂移的三个视角:数据分布、模型结构、训练模式。本研究针对 AI 时序预测模型 应对数据漂移的方法进行调研和综述。近年来发表于 AI 顶级会议及期刊的 14 篇相关研究 主要通过三类方法应对数据漂移:其一,通过在模型训练前或训练过程中对非平稳的时间 序列数据进行动态调整,化波动为稳定;其二,改进神经网络结构以动态检测和适应数据 分布漂移;其三,利用在线学习、元学习、动态模型集成等方式提升模型迭代速度。量化 领域相关研究中,Li 等(2024)的研究从模型结构出发,做出了两项改进:其一,将市场 特征通过门控机制输入神经网络,其二,通过三层注意力机制交叉提取股票时序和截面上 的信息,具有较高参考价值。

实验结果:市场特征门控机制、特征提取模型结构等改进均有效。本研究对市场特征门控 模块、注意力特征提取模块在不同特征集上进行多项对比实验。针对市场特征门控模块的 实验结果表明,加入市场特征门控模块后因子评价指标及组合业绩均有提升,注意力机制 门控表现更优,相比无门控模型中证 1000 指增组合 2016-12-30 至 2025-01-27 区间年化 超额收益最高可提升 4 pct;针对特征提取模块的实验结果表明,三层注意力特征提取模块 相比传统 GRU 更具优势,三组特征集上预测因子 RankIC 均值平均可提升 0.8 pct。因子相 关性测试结果表明,加入门控、修改特征提取模块后因子与改进前因子及传统端到端 AI 量 价因子间相关性均较低。 市场特征门控合成因子表现提升显著。研究最后基于改进因子尝试进行因子合成并构建指 数增强组合。最终综合因子由 9 个因子等权合成,分别为 3 个不同频率的端到端 AI 量价因 子以及 6 个基于注意力门控和不同特征集训练得到的市场特征门控因子。测试结果表明, 合成得到综合因子 RankIC 均值达到 14.5%,RankICIR 达到 1.43,提升显著;基于该综合 因子构建中证 1000 指数增强组合自 2016-12-30 至 2025-01-27 年化超额收益 25.6%,信 息比率 3.29,业绩表现优异。

本研究依然存在以下未尽之处: 1、 综述部分重点总结 AI 时序预测领域对数据漂移的应对方式,其中许多方法或可在 AI 量化领域上进行迁移和测试; 2、 实证部分当前仅以宽基指数的量价数据作为市场特征,未对市场特征的选取开展大规模 测试。而宽基指数的量价指标并不能准确且完善的表述金融市场状态。未来可尝试加入 行业、风格、宏观等多角度特征; 3、 最终构建合成因子时仅采用简单等权合成的方法,未来或可使用机器学习模型尝试进一 步提升合成因子及指增组合的表现; 4、 本研究中模型训练时均未大范围调参,对模型训练流程深入探索或可进一步提升表现。

编辑:火腿肠
  • 相关标签
  • 相关专题
  • 热门文档
  • 热门文章
  • 本年热门
  • 本季热门
  • 本月热门
  • 本年热门
  • 本季热门
  • 本月热门
分享至