第180章 证据保留压缩定理(12/17)
被限定在一个具有有限覆盖数的特定假设族内。
以及,一个在数学上结构完全已知的降维压缩映射。
最后,还有两个强前提条件。
反例见证基所携带的证据单元,必须覆盖所有高于安全阈值的假设分歧区域。
压缩映射在每个证据单元内,还必须满足已经核验的局部稳定性条件。
在这些先决条件下。
如果一个经过大幅度压缩的模型,保留了所有高风险证据单元的任务区分,而且对应的局部覆盖证书没有失效。
那么,这个压缩模型在真实任务分布上的风险,就可以由经验风险、模型复杂度、见证覆盖缺口与分布漂移泄漏共同约束。
这不是一条能够解决所有模型压缩问题的万能定理。
它甚至没有试图解决开放世界中的无限未知。
它只是脚踏实地,把过去藏在平均准确率后面的高风险信息损失,第一次写进可以计算,可以审查,可以进入风险上界的正式位置。
白板前,江临凭借着对底层逻辑敏锐的直觉,负责强行向前推进证明的主干链条。
而周志华则像一个经验丰富的守门人,在主链的各个关键节点上,不断地用统计学习理论的标准,给那些不够严密的条件加上重重铁锁。
“你在这步推导里,默认了任务允许的安全动作集合和任务损失函数是先验已知的。”周志华指着一处积分公式。
“现实任务通常可以给出这部分约束,比如哪些状态必须停机,哪些状态允许降速运行,以及不同错误动作对应的损失。”
“那也要用数学语言,严谨地写进定理的前提条件里,不能默认。”周志华敲了敲白板。
“好,加上条件。”江临立刻补充了一行公式。
“还有这里,在构造见证基的时候,你引入了最优化算法,见证基规模的最小化,在这条定理里是不是一个必须满足的必要条件?”
“从约束真实风险的角度来看,这条定理不需要见证基有多么最小或者最优。”江临思索了片刻,“它唯一的要求,就是必须完全覆盖那些危险的分歧区域。
哪怕这个见证基因为算法不够聪明而显得十分臃肿,只要覆盖率够了,定理的安全性依然成立。”
“既然最小化不是数学上的必要条件,那就别把它写进定理的表述里,增加不必要的证明难度。
把它移到工程实现的建议部分。”
“有道理,删掉它。”江临用板擦抹去了一截冗余的描述。
“继续往后看,你定义的这个压缩映射φ,如果它在物理实现上是一个带有随机变量的映射呢?”
“为了保证第一步推导的严密性,我们先限定所有的压缩映射都是确定性的。
同样的输入必须有完全相同的输出。”
“这种限定在现实的神经网络里太弱了,局限性太大。”周志华摇头。
“饭要一口一口吃,我们必须先把这第一条关于确定性映射的基础定理完全闭合。
确保地基没问题之后,明天再去扩展推导关于随机映射的概率界版本。”
“可以,学术就该这么一步一步来。”周志华同意了这个策略。
讨论进入到了最核心也是最艰难的部分。
如何度量分布漂移项!
“在这个关于分布漂移泄漏项的界定里,关于两个不同数据分布之间的距离度量,你打算采用哪种数学工具?”周志华盯着白板上空着的一个位置问道。
“用最经典的总变差距离?”江临试探性地给出一个选项。
“总变差对支撑错位十分敏感,在高维连续空间中又很难可靠估计。
分布只要出现明显的支撑迁移,得到的界就可能迅速变得过于保守。”周志华摇头否决。
“那用wasserstein距离?”
“wasserstein距离需要先给输入空间定义一把有任务意义的底层尺子。
可这里同时混有连续传感器量、离散故障类型和紧急动作。
随意拼出一个欧氏距离,计算出来的运输代价未必对应真实任务风险。”
“那您觉得,引入哪种度量工具最合适?”
周志华说:“既然我们真正关心的是任务损失,那就直接针对这个损失函数类,定义一个由它诱导出来的积分概率度量。”
江临看向白板上刚刚写下的任务损失函数。
本章未完,请翻下一页继续阅读.........