量化研究 · 7 分钟阅读 · 方法指南
量化机器学习:避免数据泄漏
检查标签窗口、预处理和时间切分,让样本外验证更可信。
01以信息可用时间为准
数据记录时间不一定是策略实际可获得信息的时间。财务数据应考虑披露时间,行情特征应确认 bar 是否已经闭合。给每个输入记录可用时间,并禁止特征读取决策时点之后的信息。
02隔离重叠标签
如果标签使用未来多个交易日的收益,相邻样本的标签区间会重叠。划分训练和验证区间时,应清除标签观察窗口跨越分界线的训练样本;隔离长度取决于标签定义,而不是固定套用某个天数。
03只在训练集拟合
标准化、缺失值填充、特征筛选以及其他需要估计参数的步骤都只能拟合训练集。验证集和测试集只应用已有参数。每一轮滚动验证都要重新拟合,不能复用看过未来数据的处理器。
04把测试集留到最后
使用验证集选择参数,最终测试集只用于评估已确定的方案。反复根据测试收益修改模型,也会造成选择偏差。保存每次实验的时间边界与选择理由,并同时检查成本敏感性和不同市场阶段表现。