当前位置:91小说网>都市小说>这个学霸疑似巨额知识来源不明> 第180章 证据保留压缩定理(9/17)
阅读设置(推荐配合 快捷键[F11] 进入全屏沉浸式阅读)

设置X

第180章 证据保留压缩定理(9/17)

【一次模型压缩,究竟制造了多少现实任务不可接受的错误等价?】

周志华退后两步,看了一会儿。

“这一步成立。”他说,“可以把它定义成任务区分损失。”

江临写下:

【task distinction Loss】

【任务区分损失】

它不只是统计发生了多少次合并。

每一次坍缩都要按照样本出现概率和任务代价加权。

一次不会改变安全结果的轻微偏差,不能与一次会导致设备报废或人员伤亡的错误同权。

传统准确率可能只看到模型少答错了几道题。

任务区分损失关注的是,压缩是否把必须采取不同安全策略的状态折叠到了一起。

周志华深吸了一口气,将马克笔的笔帽咔嗒一声扣在笔尾,说:“理论定义有了,而且非常漂亮。

但接下来的问题是,工程上该怎么去测量它?”

“通过在数据集中寻找发生任务坍缩的样本对。”江临不假思索地回答道。

“可一个真实世界任务的输入特征空间有多大?”

“考虑到各种环境噪声,可能是无限大。”

“如果输入是连续的物理量呢?”

“积分会变得更加麻烦,近乎无解。”

“那你总不能指望工程师在测试模型的时候,把无限空间里的样本两两配对,挨个丢进去比较吧?

计算机算到宇宙热寂也算不完。”

“那种穷举法确实不可能。”

“那也就是说,你发明的这个堪称完美的任务区分损失这个量,在工程上,目前还只是个画在纸上的大饼,根本算不出来。”

讨论的主导权刚刚在白板前转移到江临手里,转眼间,又被经验老到的周志华用一个现实的工程阻碍,一把拽了回来。

但这在学术讨论中绝对不是坏事。

一个全新的概念从白板的墨迹中站起来以后,它要面临的第一件事,就是被最严苛的同行按在地上,看看它究竟能不能在现实的泥泞里自己走路。

如果走不了路,那这种概念只配继续待在白板上,供人观赏,永远进不了代码库。

周志华重新拔下笔帽,在【任务区分损失】的下方,写下了一个机器学习理论中的经典概念。

【假设空间h】

“任何一个被部署到实际场景中的压缩模型,都不可能面对所有可能存在的任务,它只要能表达当前有限的假设空间h的那些特定任务就足够了。”

周志华用笔重重地点着白板。

江临凝视着那行字,眼神渐渐亮了起来。

周志华趁热打铁,继续往下写。

【disagreement Region】

【分歧区域】

“对于同一个物理输入,只有在当前那些被我们认为是可接受的假设模型内部,它们会给出截然不同判断结论的那个区域,才是当前这个压缩模型真正拿不准、最容易犯错的不确定边界。”

“所以,你想要计算的那个任务坍缩,根本就不需要去奢求覆盖整个无限大的输入空间。”

“你只需要把所有的算力,集中火力,覆盖住这个极其狭窄的分歧区域就足够了。”

大脑在瞬间完成逻辑拼接的江临,立刻接过了话头。

“但即便如此,对于高维数据来说,这个分歧区域的体积可能仍然大得无法计算。”

“那该怎么办?”周志华反问。

“用魔法打败魔法。”江临的语速变快,“既然嫌它大,那我们就针对这个分歧区域,再做一次信息压缩,”

周志华听完,在白板下方快速地画出了几个形状不规则,且互相交叠的几何区域,代表那些棘手的分歧边界。

“我们不需要遍历区域里的每一个点。”周志华指着那些区域的交界处,“只需要利用贪心算法或者其他采样技术,去寻找一组数量极少,但位置关键的最小样本集。
本章未完,请翻下一页继续阅读.........