第81章 榜单之外(1/7)
吃过晚饭回到房间,电脑屏幕因为长时间无操作已经进入了休眠。
江临晃了一下鼠标,屏幕亮起,下载管理器里的进度条已经拉满。
那个标着minute_market_data_v3.
zip ,大小足有3.
4Gb的数据集,安静地躺在他的本地硬盘里。
江临趁着解压的间隙看了看规则。
平台那个UI极其简陋的任务说明页面上,规则写得很长,密密麻麻的一大篇免责条款和计分细则。
数据禁止外传,允许使用公开算法,允许提交清洗后的异常标记文件、方法说明报告和辅助脚本等等。
江临把几段规则复制下来,粘贴到本地新建的记事本里,然后用鼠标给其中三个词加了粗。
隐藏标签,可复现性,泛化能力。
这三个词,比那八千块钱奖金重要得多。
它透露了主办方真正的痛点。
他们不要那种在特定数据集上跑分很高,换个市场环境就彻底拉胯的比赛特供模型。
他们要的是一条真正能落地的工业级清洗流水线。
江临却看得眉头微皱。
因为他熟悉的是坏数据,不是金融市场。
温度传感器零点漂移、相机暗场噪声、光学支架热胀冷缩、辐射计被宇宙线打出异常尖峰,这些东西他处理过太多次。
可是分钟级行情不是温度曲线,成交量不是传感器采样,停牌标记也不是设备掉线。
如果连系统的基本工作方式都没弄清楚,就急着下手清洗数据,那不叫审计。
那叫把自己的无知写进脚本里。
江临把下载页面暂时放到一边,新建了一个文档。
标题只有四个字:量化补课。
目标:学习这些数据在什么制度和流程下产生。
他先从最基础的字段开始查。
开盘价,成交量,复权,涨跌停……
每一个词他都只看最基础的定义,不往投资策略上发散。
遇到讲十倍收益,稳定套利,资金曲线完美的帖子,直接关掉。
遇到有人认真讨论未来函数,幸存者偏差,样本外失效,滑点和冲击成本的长帖,才停下来读。
两个小时后,他列出了六个必须先确认的制度性问题,从集合竞价边界到测试集隔离方式,并在纸上画出一条很粗糙的数据链路。
最后评价为:量化数据不是市场本身,是市场经过多层设备,制度,软件和商业口径之后留下的影子。
这句话写完,他又下载了数据字典和平台提供的baseline(基准参考代码)。
数据字典是一个二十多页的pdF文件。
不得不说,提供方在脱敏上做得很绝。
那个所谓的标的代码,根本不是什么诸如这种能在软件里搜出来的股票代码,而是被全部转成了一长串毫无规律的md5哈希值。
时间戳里的交易日(date_id)也做了整体偏移。
你没法知道这是2015年股灾时的数据,还是2020年抱团行情时的数据。
所有的价格和成交量也全都在后台做过了等比例缩放,绝对值已经失去现实含义,只保留了零值、缺失、相邻变化率以及同一口径下的相对关系。
这意味着,你不可能靠现实世界的金融常识或者去查雅虎财经的历史记录,去反推哪一只股票在某年某月某日发生了什么异常。
这很对江临的胃口。
因为外部查资料的捷径被切断后,剩下的胜负就会回到数据内部的逻辑、制度边界和审计能力上。
本章未完,请翻下一页继续阅读.........