第180章 证据保留压缩定理(9/17)
【一次模型压缩,究竟制造了多少现实任务不可接受的错误等价?】
周志华退后两步,看了一会儿。
“这一步成立。”他说,“可以把它定义成任务区分损失。”
江临写下:
【task distinction Loss】
【任务区分损失】
它不只是统计发生了多少次合并。
每一次坍缩都要按照样本出现概率和任务代价加权。
一次不会改变安全结果的轻微偏差,不能与一次会导致设备报废或人员伤亡的错误同权。
传统准确率可能只看到模型少答错了几道题。
任务区分损失关注的是,压缩是否把必须采取不同安全策略的状态折叠到了一起。
周志华深吸了一口气,将马克笔的笔帽咔嗒一声扣在笔尾,说:“理论定义有了,而且非常漂亮。
但接下来的问题是,工程上该怎么去测量它?”
“通过在数据集中寻找发生任务坍缩的样本对。”江临不假思索地回答道。
“可一个真实世界任务的输入特征空间有多大?”
“考虑到各种环境噪声,可能是无限大。”
“如果输入是连续的物理量呢?”
“积分会变得更加麻烦,近乎无解。”
“那你总不能指望工程师在测试模型的时候,把无限空间里的样本两两配对,挨个丢进去比较吧?
计算机算到宇宙热寂也算不完。”
“那种穷举法确实不可能。”
“那也就是说,你发明的这个堪称完美的任务区分损失这个量,在工程上,目前还只是个画在纸上的大饼,根本算不出来。”
讨论的主导权刚刚在白板前转移到江临手里,转眼间,又被经验老到的周志华用一个现实的工程阻碍,一把拽了回来。
但这在学术讨论中绝对不是坏事。
一个全新的概念从白板的墨迹中站起来以后,它要面临的第一件事,就是被最严苛的同行按在地上,看看它究竟能不能在现实的泥泞里自己走路。
如果走不了路,那这种概念只配继续待在白板上,供人观赏,永远进不了代码库。
周志华重新拔下笔帽,在【任务区分损失】的下方,写下了一个机器学习理论中的经典概念。
【假设空间h】
“任何一个被部署到实际场景中的压缩模型,都不可能面对所有可能存在的任务,它只要能表达当前有限的假设空间h的那些特定任务就足够了。”
周志华用笔重重地点着白板。
江临凝视着那行字,眼神渐渐亮了起来。
周志华趁热打铁,继续往下写。
【disagreement Region】
【分歧区域】
“对于同一个物理输入,只有在当前那些被我们认为是可接受的假设模型内部,它们会给出截然不同判断结论的那个区域,才是当前这个压缩模型真正拿不准、最容易犯错的不确定边界。”
“所以,你想要计算的那个任务坍缩,根本就不需要去奢求覆盖整个无限大的输入空间。”
“你只需要把所有的算力,集中火力,覆盖住这个极其狭窄的分歧区域就足够了。”
大脑在瞬间完成逻辑拼接的江临,立刻接过了话头。
“但即便如此,对于高维数据来说,这个分歧区域的体积可能仍然大得无法计算。”
“那该怎么办?”周志华反问。
“用魔法打败魔法。”江临的语速变快,“既然嫌它大,那我们就针对这个分歧区域,再做一次信息压缩,”
周志华听完,在白板下方快速地画出了几个形状不规则,且互相交叠的几何区域,代表那些棘手的分歧边界。
“我们不需要遍历区域里的每一个点。”周志华指着那些区域的交界处,“只需要利用贪心算法或者其他采样技术,去寻找一组数量极少,但位置关键的最小样本集。
本章未完,请翻下一页继续阅读.........