当前位置:91小说网>都市小说>这个学霸疑似巨额知识来源不明> 第81章 榜单之外(3/7)
阅读设置(推荐配合 快捷键[F11] 进入全屏沉浸式阅读)

设置X

第81章 榜单之外(3/7)

凌晨一点二十,当缺失值的分布矩阵渲染在屏幕上时,他终于发现了第一处让他皱起眉头的异常现象。

数据里的缺失值,不是均匀出现的。

如果是一般的低流动性标的,出现偶尔的数据缺失是很正常的。

又或者,是某一只股票的交易所接口突然卡顿,造成几分钟的断档,这也说得通。

但现在屏幕上显示的问题是,缺失极其密集地集中在若干个date_id的同一段minute_id上。

而且,更诡异的是,这些minute_id的缺失,横跨样本里成百上千个不同的symbol_id。

为了看清楚,江临把这百万行数据的缺失分布状态画成了一张二维热力图。

横轴是时间,纵轴是标的代码,有数据的地方是深蓝色,缺失的地方是刺眼的亮黄色。

屏幕上赫然出现了几条横贯全图的亮黄色条带,就像一整块深蓝色的布料上,被人用刀残忍地划出了几道平行的巨大伤口。

这不是某一只股票的交易出了问题,不是标的自身的市场行为!

这更像是在那个特定的时间段,负责收集市场数据的某一台核心服务器突然宕机了,或者是底层供应商的某根专线断了,导致整个市场在这一段切片上的数据,经历了全链路的集体丢包。

江临立刻切回audit_log,在日志里重重地敲下一行字。

【异常类型 A:横向时间截面级缺失。】

【推断:此异常不属于市场本身的交易特征,极大概率是数据供应商底层接口故障,或平台拼接多源数据时发生的时间轴对齐失误。】

他顺着这个思路往下查,试图把所有出现过横向断层的时间段全部圈出来。

接着,他犯了一个非常小但足以致命的常识性错误。

他在热力图上框选时,发现不仅是某些随机的日子有横向伤口,几乎每一个date_id的中间段,都有一大块规则的、横贯全市场的空白区域。

江临毫不犹豫地把这段规则的空白也标记成了异常缺失。

但在按下保存键的那一瞬间,他的手指悬停在了半空。

“等等,所有标的,每一天,在中间完全相同的位置,准时切断,又准时恢复?

“

江临忽然意识到什么,快速切出代码界面,打开浏览器,在搜索引擎里输入了A股交易时间。

页面立刻跳出结果:上午 9:30 - 11:30,下午 13:00 - 15:00。

中午有一个半小时的休市。

江临拍了一下自己的脑门。

自己把这部分规则的空白当成了数据丢失。

他打开数据字典,重新审视那个极其含糊的session_id。

平台虽然对具体的时间做了脱敏和偏移,但session_id依然诚实地保留了每天上、下午两个交易时段的结构信息。

江临立刻把那部分标记全部撤掉,回到日志本,坦然地记录下自己的失误:

【误判 001:将正常的午间休市造成的物理时间断点,误识别为系统级数据缺失。】

【原因分析:过于迷信数据表象,未在建模前建立现实市场的物理约束前提。】

【修正方案:后续所有统计和清洗动作,必须先按session_id将每日行情严格分段隔离建模,禁止跨越休市期计算任何差分特征。】

写完这一段,他感到一阵轻松。

这就是纠错的快感。

承认无知,排除干扰,把系统的边界再一次收紧。

时间已经推移到了凌晨两点半。

江临搓了搓脸颊,驱散了一丝困意,打开那个官方提供的baseline.

ipynb文件。

这是一个用Jupyter Notebook写的演示级基准代码。

平台方写得很简陋,主要是演示如何读入数据、构造特征、跑通提交流程。
本章未完,请翻下一页继续阅读.........