第89章 七千万次的小石头(3/7)
最初的审计脚本逻辑并不复杂。
江临用python配合pandas和dask,写了几个守卫器。
唯一性检查: 检查因子编号是否唯一,版本号是否连续,每个因子是否严格绑定了当时所用的清洗数据版本。
样本池漂移: 每个回测结果是否绑定了确定的样本池定义?
失败记录完整性: 失败因子有没有保留详细的删除原因和失效日期的环境切片?
同源性检查: 同名或近似同名因子是否重复出现?
摩擦成本检查: 交易成本假设有没有在不同版本里发生人为的漂移?
回车,运行。
十五分钟后,第一轮扫描结果出来了。
很难看,触目惊心的难看。
四百三十七个因子里,有八十多个没有完整的数据版本号约束。
这意味着如果现在重跑回测,根本不知道当初是用什么数据跑出来的。
二十七个因子版本断裂,从 v1.
2 直接跳到了 v3.
0,中间经历了什么,无人知晓。
十三个因子名称完全不同,但备注里的数学逻辑高度相似。
还有几个因子,名字看起来像是三个截然不同的方向。
但江临的脚本对它们的脱敏输出矩阵求了横截面相关性后发现,它们的皮尔逊相关系数竟然高达0.
98。
说明这根本就是同一类想法,在绩效压力和流程失控里被反复复制、微调参数、改名重跑,试图碰出一个更好看的夏普比率,最后在历史里留下了三具极其相似的影子。
这就是纯粹的数据挖掘灾难。
江临面无表情,继续跑第二轮:因子输出版本敏感性测试。
第三轮:样本池时间序列漂移测试。
第四轮:失败因子记录完整性穿透。
随着任务越来越重,工作站脚下的机箱风扇开始持续低鸣,发出沉闷的嗡嗡声。
江临瞥了一眼副屏上的系统监控。
温度:68c,正常。
硬盘读写:正常。
内存占用:正常。
cpU 占用率,却在几个特定的脚本执行时,反复拉高到100%,红得刺眼。
程序并没有卡死,终端里的进度条还在走。
但它比江临预期的慢,慢得非常不合理。
对于现实世界里的大多数数据科学家或者量化研究员来说,遇到这个情况,第一反应绝对是,机器不够强。
“老板,我们要买更好的 cpU,换 Amd 的线程撕裂者。”
“要加更大的内存,把数据全塞进内存里。”
“上AwS云服务器,开个 124 核的实例并行跑。”
用硬件的暴力去掩盖软件的低效,这是和平年代,资源充沛环境下的通病。
但这不是江临的第一反应。
在他的脑海深处,那个属于【废土世界】的倒计时始终存在。
在资源枯竭的废土里,永远没有再买一台的选项。
本章未完,请翻下一页继续阅读.........