当前位置:91小说网>都市小说>这个学霸疑似巨额知识来源不明> 第180章 证据保留压缩定理(12/17)
阅读设置(推荐配合 快捷键[F11] 进入全屏沉浸式阅读)

设置X

第180章 证据保留压缩定理(12/17)

被限定在一个具有有限覆盖数的特定假设族内。

以及,一个在数学上结构完全已知的降维压缩映射。

最后,还有两个强前提条件。

反例见证基所携带的证据单元,必须覆盖所有高于安全阈值的假设分歧区域。

压缩映射在每个证据单元内,还必须满足已经核验的局部稳定性条件。

在这些先决条件下。

如果一个经过大幅度压缩的模型,保留了所有高风险证据单元的任务区分,而且对应的局部覆盖证书没有失效。

那么,这个压缩模型在真实任务分布上的风险,就可以由经验风险、模型复杂度、见证覆盖缺口与分布漂移泄漏共同约束。

这不是一条能够解决所有模型压缩问题的万能定理。

它甚至没有试图解决开放世界中的无限未知。

它只是脚踏实地,把过去藏在平均准确率后面的高风险信息损失,第一次写进可以计算,可以审查,可以进入风险上界的正式位置。

白板前,江临凭借着对底层逻辑敏锐的直觉,负责强行向前推进证明的主干链条。

而周志华则像一个经验丰富的守门人,在主链的各个关键节点上,不断地用统计学习理论的标准,给那些不够严密的条件加上重重铁锁。

“你在这步推导里,默认了任务允许的安全动作集合和任务损失函数是先验已知的。”周志华指着一处积分公式。

“现实任务通常可以给出这部分约束,比如哪些状态必须停机,哪些状态允许降速运行,以及不同错误动作对应的损失。”

“那也要用数学语言,严谨地写进定理的前提条件里,不能默认。”周志华敲了敲白板。

“好,加上条件。”江临立刻补充了一行公式。

“还有这里,在构造见证基的时候,你引入了最优化算法,见证基规模的最小化,在这条定理里是不是一个必须满足的必要条件?”

“从约束真实风险的角度来看,这条定理不需要见证基有多么最小或者最优。”江临思索了片刻,“它唯一的要求,就是必须完全覆盖那些危险的分歧区域。

哪怕这个见证基因为算法不够聪明而显得十分臃肿,只要覆盖率够了,定理的安全性依然成立。”

“既然最小化不是数学上的必要条件,那就别把它写进定理的表述里,增加不必要的证明难度。

把它移到工程实现的建议部分。”

“有道理,删掉它。”江临用板擦抹去了一截冗余的描述。

“继续往后看,你定义的这个压缩映射φ,如果它在物理实现上是一个带有随机变量的映射呢?”

“为了保证第一步推导的严密性,我们先限定所有的压缩映射都是确定性的。

同样的输入必须有完全相同的输出。”

“这种限定在现实的神经网络里太弱了,局限性太大。”周志华摇头。

“饭要一口一口吃,我们必须先把这第一条关于确定性映射的基础定理完全闭合。

确保地基没问题之后,明天再去扩展推导关于随机映射的概率界版本。”

“可以,学术就该这么一步一步来。”周志华同意了这个策略。

讨论进入到了最核心也是最艰难的部分。

如何度量分布漂移项!

“在这个关于分布漂移泄漏项的界定里,关于两个不同数据分布之间的距离度量,你打算采用哪种数学工具?”周志华盯着白板上空着的一个位置问道。

“用最经典的总变差距离?”江临试探性地给出一个选项。

“总变差对支撑错位十分敏感,在高维连续空间中又很难可靠估计。

分布只要出现明显的支撑迁移,得到的界就可能迅速变得过于保守。”周志华摇头否决。

“那用wasserstein距离?”

“wasserstein距离需要先给输入空间定义一把有任务意义的底层尺子。

可这里同时混有连续传感器量、离散故障类型和紧急动作。

随意拼出一个欧氏距离,计算出来的运输代价未必对应真实任务风险。”

“那您觉得,引入哪种度量工具最合适?”

周志华说:“既然我们真正关心的是任务损失,那就直接针对这个损失函数类,定义一个由它诱导出来的积分概率度量。”

江临看向白板上刚刚写下的任务损失函数。
本章未完,请翻下一页继续阅读.........