第89章 七千万次的小石头(4/7)
在那里,机器慢,不能先要资源,必须先问。
为什么慢?
是什么在吃掉算力?
江临果断按下了 ctrl+c,停掉了后续的扫描任务。
打开python的性能分析工具,将刚才那段跑得极慢的代码用cprofile 重新包起来,然后接入SnakeViz进行可视化分析。
二十分钟后,一份详细的调用栈火焰图出现在屏幕上。
真正的瓶颈浮出水面。
在调用栈里吞掉最多墙钟时间的怪物,不是那些几百万行的大矩阵乘法。
不是复杂的hdF5文件读取,不是前端渲染的图表生成,也不是某个玄学的机器学习复杂模型。
而是几个小得近乎不起眼的动作:排序、排名、分桶。
在量化回测中,经常需要在特定的行业特定的市值区间内,对股票的因子暴露值进行中性化和排序。
每次参与排序的股票可能不多,只有五个、八个、或者十六个。
单独看,给五个数排序,不管用什么算法,每一次都快得像没有成本,连一毫秒都不需要。
但问题在于乘数效应。
qF-oLdLIb-001里有四百多个因子。
三年历史版本。
多个动态调整的样本池。
多种回测配置。
每一天,每一个行业,每一个状态标记、每一个数据版本,都要切出一层层的横截面进行分组排名。
于是,这些微小的小动作被嵌套在庞大的循环网里,被反复调用。
江临把调用栈里耗时最高的那个函数次数打印了出来
七千八百四十二万一千九百零六次。
看着这个天文数字,他沉默了十几秒,然后在项目的audit_log.
md里,他敲下了这样一段话。
真正拖慢整个复杂系统的,从来都不是偶尔出现的大山,而是每天必须被搬运七千万次的小石头。
写完这句话,他停顿了一下。
为了让将来可能接手这份审计报告的平庸工程师也能看懂,他又补了一段更通俗的解释。
一次给五张试卷按分数从高到低排序,对任何人都不难。
难的是,系统要求你一天之内,把给五张试卷排序这个动作,重复七千万次。
标准库里的排序算法在计算机科学上被证明是非常优秀的。
但它们优秀的前提是通用。
标准库就像是一套占地几万平方米的大型自动化物流分拣中心。
它可以处理一万张试卷。
可以处理一百万个包裹。
可以处理带有各种奇怪对象的复杂数据结构。
它强大,通用,绝对可靠。
但如果你的流水线上,每次送过来的永远只有五个小包裹,而且每天要送七千万次。
那么,你每一次都去启动那套耗电巨大的大型物流中心,让传送带空转,让机械臂寻址,去执行庞大的分拣逻辑,
这就是不可饶恕的浪费。
在底层代码的视角里,这种浪费体现为,为了通用性而保留的复杂的函数调用开销。
本章未完,请翻下一页继续阅读.........