第81章 榜单之外(4/7)
后面的模型部分他暂时没有执行,只顺着预处理代码往下看。
江临一行一行地往下扫,目光快速解析着这些代码背后的逻辑。
看到第六十七行的时候,他握着鼠标的手突然停住了。
那是一段做特征标准化的代码。
为了让不同量纲的数据能在一个尺度下训练,它把训练集和测试集直接合并成了一个大表。
然后,它计算了这个大表里每个特征的全局均值和全局标准差。
最后,它用这个包含了所有未来数据的全局统计量,去对整个数据集进行了放缩。
在很多网上的开源教程或者新手的数据分析作业里,这种写法非常常见。
用一句fit_transform全部搞定,方便,省事,代码看起来也很整洁。
但如果在普通的不强调时间顺序的机器学习比赛,比如识别猫狗图片里,这叫数据泄漏。
但在量化金融这种时间序列数据里,它远比普通泄漏更糟。
因为时间的前后因果顺序,本身就是这个系统的物理定律。
你不能用明天的最高温和最低温,来重新定义今天温度计刻度的零点。
如果你这么做了,今天的数据里就不可避免地夹杂了对未来的预知。
江临没有立刻在日志里下定论。
科学精神要求证据,而不是拍脑袋的直觉。
他立刻新建了一个短小精悍的验证脚本。
他只取了10 个symbol_id,只取了时间轴上紧挨着的两个date_id作为训练窗和测试窗。
他做了两组对照——一组照搬baseline的合并逻辑,一组严格遵守时间因果律只用历史窗口。
脚本一秒钟跑完,江临调出折线图。
结果非常清晰。
在发生了剧烈价格波动的测试窗口期,第一组由于预先看见了这些剧烈波动,使得标准化后的异常数值被显着地压低了。
换句话说,官方提供的这个baseline,正在潜移默化地把未来信息揉进最初的预处理步骤里。
它像一个被下了蒙汗药的警报器,让一部分本该极其刺眼的异常数据,看起来显得没那么异常了。
这不是什么参赛者恶意寻找代码漏洞作弊,这更像是平台技术人员在赶工时犯下的一个愚蠢的工程疏忽。
这个疏忽,足够让公开排行榜的一部分分数失去参考意义。
至少,那些沿用官方baseline预处理流程的方案,已经不再干净。
江临看着屏幕上两条劈叉的折线,脑海中忽然响起了白天在江大A301教室里,赵明远教授敲着黑板说的那句话。
“一个近似方法最危险的时候,不是它算出来的误差有多大。
而是它赖以成立的前提本身已经崩掉了,而你却还在浑然不觉地照常使用它。
“
baseline现在的处境就是如此。
不是模型跑出来的精度不够高,而是它在预处理的第一步,就已经从物理根基上破坏了时间序列的因果律法则。
凌晨三点十一分,夜深人静,整座城市都沉睡了。
江临在日志本的最后,敲下一行字。
【异常类型E:baseline 存在系统级未来信息泄漏。】
【机理:在预处理阶段合并训练/测试集进行全局标准化计算,从根本上破坏了时间序列数据的因果结构,导致测试窗异常特征被平滑稀释。】
【注:此现象绝不是参赛选手应该用来刷分的漏洞,因为用它训练出的模型在现实中只有死路一条。
它或许是一个应当直接向平台方提交审查的赛题本身的安全级缺陷。】
接下来的两天里,江临几乎没有离开过自己的房间太久。
本章未完,请翻下一页继续阅读.........