当前位置:91小说网>都市小说>这个学霸疑似巨额知识来源不明> 第89章 七千万次的小石头(3/7)
阅读设置(推荐配合 快捷键[F11] 进入全屏沉浸式阅读)

设置X

第89章 七千万次的小石头(3/7)

最初的审计脚本逻辑并不复杂。

江临用python配合pandas和dask,写了几个守卫器。

唯一性检查: 检查因子编号是否唯一,版本号是否连续,每个因子是否严格绑定了当时所用的清洗数据版本。

样本池漂移: 每个回测结果是否绑定了确定的样本池定义?

失败记录完整性: 失败因子有没有保留详细的删除原因和失效日期的环境切片?

同源性检查: 同名或近似同名因子是否重复出现?

摩擦成本检查: 交易成本假设有没有在不同版本里发生人为的漂移?

回车,运行。

十五分钟后,第一轮扫描结果出来了。

很难看,触目惊心的难看。

四百三十七个因子里,有八十多个没有完整的数据版本号约束。

这意味着如果现在重跑回测,根本不知道当初是用什么数据跑出来的。

二十七个因子版本断裂,从 v1.

2 直接跳到了 v3.

0,中间经历了什么,无人知晓。

十三个因子名称完全不同,但备注里的数学逻辑高度相似。

还有几个因子,名字看起来像是三个截然不同的方向。

但江临的脚本对它们的脱敏输出矩阵求了横截面相关性后发现,它们的皮尔逊相关系数竟然高达0.

98。

说明这根本就是同一类想法,在绩效压力和流程失控里被反复复制、微调参数、改名重跑,试图碰出一个更好看的夏普比率,最后在历史里留下了三具极其相似的影子。

这就是纯粹的数据挖掘灾难。

江临面无表情,继续跑第二轮:因子输出版本敏感性测试。

第三轮:样本池时间序列漂移测试。

第四轮:失败因子记录完整性穿透。

随着任务越来越重,工作站脚下的机箱风扇开始持续低鸣,发出沉闷的嗡嗡声。

江临瞥了一眼副屏上的系统监控。

温度:68c,正常。

硬盘读写:正常。

内存占用:正常。

cpU 占用率,却在几个特定的脚本执行时,反复拉高到100%,红得刺眼。

程序并没有卡死,终端里的进度条还在走。

但它比江临预期的慢,慢得非常不合理。

对于现实世界里的大多数数据科学家或者量化研究员来说,遇到这个情况,第一反应绝对是,机器不够强。

“老板,我们要买更好的 cpU,换 Amd 的线程撕裂者。”

“要加更大的内存,把数据全塞进内存里。”

“上AwS云服务器,开个 124 核的实例并行跑。”

用硬件的暴力去掩盖软件的低效,这是和平年代,资源充沛环境下的通病。

但这不是江临的第一反应。

在他的脑海深处,那个属于【废土世界】的倒计时始终存在。

在资源枯竭的废土里,永远没有再买一台的选项。
本章未完,请翻下一页继续阅读.........