第81章 榜单之外(2/7)
江临打开windows命令行窗口,在工程目录下建好了五个分类文件夹。
解压数据集的压缩包。
进度条走完后,data_raw 文件夹里出现了四个庞然大物。
train_features.
parquet,trainbels.
csv,test_features.
parquet,sample_submission.
csv
他现在用的这台二手电脑,内存只有可怜的8G。
如果直接用pandas把这三点几个G的parquet格式数据全量读进内存,这台二手机器大概率会直接卡死。
于是,他打开编辑器,写了一个几十行的python短脚本。
只读表头元数据和前面的前一百万行样本切片,用来探路。
十分钟后,按下运行键。
终端里瞬间刷出一长串刺眼的红字报错信息。
江临盯着那串红字,愣了两秒,然后哑然失笑。
现实世界就是这样充满黑色幽默。
你踌躇满志,以为自己马上就要面对深不可测的资本市场,要去手撕复杂的金融微观结构了,结果第一刀,却结结实实地砍在了一个缺失的底层依赖库上。
“行吧,先搞后勤。
“
江临摇了摇头,在命令行里敲下了安装命令。
看着屏幕上跳动的一个个下载进度条,他顺手把这些包的版本号,一个不落地记录在了刚才的audit_log里。
晚上九点四十六分,环境配置完毕。
第一批百万行的切片数据,终于顺利地被读进了内存。
屏幕上整齐地打印出了十几个常规行情字段,最后跟着三个由平台方自己生成的辅助字段。
session_id,source_g,row_weight。
江临没有急着去看那些价格数字,而是盯着这最后三个字段看几眼,评价为。
【凡是平台方称作内部质量分组的字段,先不要当特征使用,先当潜在污染分层变量审计。】
接下来,他开始对这一百万行切片做最基础的侦查审计。
江临把脑子里的几个基础常识翻译成几行干净利落的聚合代码,点击运行。
笔记本电脑发出低沉的轰鸣,cpU风扇开始高速转动,像是在抗议这种压榨。
第一轮审计脚本跑了足足二十多分钟。
终端里,一行行统计结果慢慢跳了出来。
和江临预想的一样,大部分记录看起来非常平滑正常,但也有一小撮记录脏得让人没眼看。
毕竟这个比赛的任务就是找脏数据,有异常是在预料之内的。
江临平静地写了几行画图脚本,把那些被筛出来的异常样本随机抽了几个,画成走势图。
这些异常都太浅了。
写几个if-else的条件过滤就能抓得一清二楚。
江临心里盘算着,如果只靠这些表层的业务逻辑去提交,应该能稳定拿到一个中等偏上的分数,拿不到奖金,但至少能及格。
如果任务只停留在这些表层逻辑错误上,就不值得平台设置人工报告评分。
江临揉了揉有些发酸的眼睛,喝了一口水,继续往下看第四个问题的统计结果。
本章未完,请翻下一页继续阅读.........