第81章 榜单之外(3/7)
凌晨一点二十,当缺失值的分布矩阵渲染在屏幕上时,他终于发现了第一处让他皱起眉头的异常现象。
数据里的缺失值,不是均匀出现的。
如果是一般的低流动性标的,出现偶尔的数据缺失是很正常的。
又或者,是某一只股票的交易所接口突然卡顿,造成几分钟的断档,这也说得通。
但现在屏幕上显示的问题是,缺失极其密集地集中在若干个date_id的同一段minute_id上。
而且,更诡异的是,这些minute_id的缺失,横跨样本里成百上千个不同的symbol_id。
为了看清楚,江临把这百万行数据的缺失分布状态画成了一张二维热力图。
横轴是时间,纵轴是标的代码,有数据的地方是深蓝色,缺失的地方是刺眼的亮黄色。
屏幕上赫然出现了几条横贯全图的亮黄色条带,就像一整块深蓝色的布料上,被人用刀残忍地划出了几道平行的巨大伤口。
这不是某一只股票的交易出了问题,不是标的自身的市场行为!
这更像是在那个特定的时间段,负责收集市场数据的某一台核心服务器突然宕机了,或者是底层供应商的某根专线断了,导致整个市场在这一段切片上的数据,经历了全链路的集体丢包。
江临立刻切回audit_log,在日志里重重地敲下一行字。
【异常类型 A:横向时间截面级缺失。】
【推断:此异常不属于市场本身的交易特征,极大概率是数据供应商底层接口故障,或平台拼接多源数据时发生的时间轴对齐失误。】
他顺着这个思路往下查,试图把所有出现过横向断层的时间段全部圈出来。
接着,他犯了一个非常小但足以致命的常识性错误。
他在热力图上框选时,发现不仅是某些随机的日子有横向伤口,几乎每一个date_id的中间段,都有一大块规则的、横贯全市场的空白区域。
江临毫不犹豫地把这段规则的空白也标记成了异常缺失。
但在按下保存键的那一瞬间,他的手指悬停在了半空。
“等等,所有标的,每一天,在中间完全相同的位置,准时切断,又准时恢复?
“
江临忽然意识到什么,快速切出代码界面,打开浏览器,在搜索引擎里输入了A股交易时间。
页面立刻跳出结果:上午 9:30 - 11:30,下午 13:00 - 15:00。
中午有一个半小时的休市。
江临拍了一下自己的脑门。
自己把这部分规则的空白当成了数据丢失。
他打开数据字典,重新审视那个极其含糊的session_id。
平台虽然对具体的时间做了脱敏和偏移,但session_id依然诚实地保留了每天上、下午两个交易时段的结构信息。
江临立刻把那部分标记全部撤掉,回到日志本,坦然地记录下自己的失误:
【误判 001:将正常的午间休市造成的物理时间断点,误识别为系统级数据缺失。】
【原因分析:过于迷信数据表象,未在建模前建立现实市场的物理约束前提。】
【修正方案:后续所有统计和清洗动作,必须先按session_id将每日行情严格分段隔离建模,禁止跨越休市期计算任何差分特征。】
写完这一段,他感到一阵轻松。
这就是纠错的快感。
承认无知,排除干扰,把系统的边界再一次收紧。
时间已经推移到了凌晨两点半。
江临搓了搓脸颊,驱散了一丝困意,打开那个官方提供的baseline.
ipynb文件。
这是一个用Jupyter Notebook写的演示级基准代码。
平台方写得很简陋,主要是演示如何读入数据、构造特征、跑通提交流程。
本章未完,请翻下一页继续阅读.........