当前位置:91小说网>都市小说>这个学霸疑似巨额知识来源不明> 第81章 榜单之外(1/7)
阅读设置(推荐配合 快捷键[F11] 进入全屏沉浸式阅读)

设置X

第81章 榜单之外(1/7)

吃过晚饭回到房间,电脑屏幕因为长时间无操作已经进入了休眠。

江临晃了一下鼠标,屏幕亮起,下载管理器里的进度条已经拉满。

那个标着minute_market_data_v3.

zip ,大小足有3.

4Gb的数据集,安静地躺在他的本地硬盘里。

江临趁着解压的间隙看了看规则。

平台那个UI极其简陋的任务说明页面上,规则写得很长,密密麻麻的一大篇免责条款和计分细则。

数据禁止外传,允许使用公开算法,允许提交清洗后的异常标记文件、方法说明报告和辅助脚本等等。

江临把几段规则复制下来,粘贴到本地新建的记事本里,然后用鼠标给其中三个词加了粗。

隐藏标签,可复现性,泛化能力。

这三个词,比那八千块钱奖金重要得多。

它透露了主办方真正的痛点。

他们不要那种在特定数据集上跑分很高,换个市场环境就彻底拉胯的比赛特供模型。

他们要的是一条真正能落地的工业级清洗流水线。

江临却看得眉头微皱。

因为他熟悉的是坏数据,不是金融市场。

温度传感器零点漂移、相机暗场噪声、光学支架热胀冷缩、辐射计被宇宙线打出异常尖峰,这些东西他处理过太多次。

可是分钟级行情不是温度曲线,成交量不是传感器采样,停牌标记也不是设备掉线。

如果连系统的基本工作方式都没弄清楚,就急着下手清洗数据,那不叫审计。

那叫把自己的无知写进脚本里。

江临把下载页面暂时放到一边,新建了一个文档。

标题只有四个字:量化补课。

目标:学习这些数据在什么制度和流程下产生。

他先从最基础的字段开始查。

开盘价,成交量,复权,涨跌停……

每一个词他都只看最基础的定义,不往投资策略上发散。

遇到讲十倍收益,稳定套利,资金曲线完美的帖子,直接关掉。

遇到有人认真讨论未来函数,幸存者偏差,样本外失效,滑点和冲击成本的长帖,才停下来读。

两个小时后,他列出了六个必须先确认的制度性问题,从集合竞价边界到测试集隔离方式,并在纸上画出一条很粗糙的数据链路。

最后评价为:量化数据不是市场本身,是市场经过多层设备,制度,软件和商业口径之后留下的影子。

这句话写完,他又下载了数据字典和平台提供的baseline(基准参考代码)。

数据字典是一个二十多页的pdF文件。

不得不说,提供方在脱敏上做得很绝。

那个所谓的标的代码,根本不是什么诸如这种能在软件里搜出来的股票代码,而是被全部转成了一长串毫无规律的md5哈希值。

时间戳里的交易日(date_id)也做了整体偏移。

你没法知道这是2015年股灾时的数据,还是2020年抱团行情时的数据。

所有的价格和成交量也全都在后台做过了等比例缩放,绝对值已经失去现实含义,只保留了零值、缺失、相邻变化率以及同一口径下的相对关系。

这意味着,你不可能靠现实世界的金融常识或者去查雅虎财经的历史记录,去反推哪一只股票在某年某月某日发生了什么异常。

这很对江临的胃口。

因为外部查资料的捷径被切断后,剩下的胜负就会回到数据内部的逻辑、制度边界和审计能力上。
本章未完,请翻下一页继续阅读.........