当前位置:91小说网>都市小说>这个学霸疑似巨额知识来源不明> 第81章 榜单之外(2/7)
阅读设置(推荐配合 快捷键[F11] 进入全屏沉浸式阅读)

设置X

第81章 榜单之外(2/7)

江临打开windows命令行窗口,在工程目录下建好了五个分类文件夹。

解压数据集的压缩包。

进度条走完后,data_raw 文件夹里出现了四个庞然大物。

train_features.

parquet,trainbels.

csv,test_features.

parquet,sample_submission.

csv

他现在用的这台二手电脑,内存只有可怜的8G。

如果直接用pandas把这三点几个G的parquet格式数据全量读进内存,这台二手机器大概率会直接卡死。

于是,他打开编辑器,写了一个几十行的python短脚本。

只读表头元数据和前面的前一百万行样本切片,用来探路。

十分钟后,按下运行键。

终端里瞬间刷出一长串刺眼的红字报错信息。

江临盯着那串红字,愣了两秒,然后哑然失笑。

现实世界就是这样充满黑色幽默。

你踌躇满志,以为自己马上就要面对深不可测的资本市场,要去手撕复杂的金融微观结构了,结果第一刀,却结结实实地砍在了一个缺失的底层依赖库上。

“行吧,先搞后勤。

“

江临摇了摇头,在命令行里敲下了安装命令。

看着屏幕上跳动的一个个下载进度条,他顺手把这些包的版本号,一个不落地记录在了刚才的audit_log里。

晚上九点四十六分,环境配置完毕。

第一批百万行的切片数据,终于顺利地被读进了内存。

屏幕上整齐地打印出了十几个常规行情字段,最后跟着三个由平台方自己生成的辅助字段。

session_id,source_g,row_weight。

江临没有急着去看那些价格数字,而是盯着这最后三个字段看几眼,评价为。

【凡是平台方称作内部质量分组的字段,先不要当特征使用,先当潜在污染分层变量审计。】

接下来,他开始对这一百万行切片做最基础的侦查审计。

江临把脑子里的几个基础常识翻译成几行干净利落的聚合代码,点击运行。

笔记本电脑发出低沉的轰鸣,cpU风扇开始高速转动,像是在抗议这种压榨。

第一轮审计脚本跑了足足二十多分钟。

终端里,一行行统计结果慢慢跳了出来。

和江临预想的一样,大部分记录看起来非常平滑正常,但也有一小撮记录脏得让人没眼看。

毕竟这个比赛的任务就是找脏数据,有异常是在预料之内的。

江临平静地写了几行画图脚本,把那些被筛出来的异常样本随机抽了几个,画成走势图。

这些异常都太浅了。

写几个if-else的条件过滤就能抓得一清二楚。

江临心里盘算着,如果只靠这些表层的业务逻辑去提交,应该能稳定拿到一个中等偏上的分数,拿不到奖金,但至少能及格。

如果任务只停留在这些表层逻辑错误上,就不值得平台设置人工报告评分。

江临揉了揉有些发酸的眼睛,喝了一口水,继续往下看第四个问题的统计结果。
本章未完,请翻下一页继续阅读.........