第180章 证据保留压缩定理(13/17)
“这个Ipm更贴合任务本身。”
两个人继续沿着这条路线向前推进。
会议室里的白板很快被数学符号和推导过程填满。
另一边,几名人工智能学院的研究人员也没有闲着。
南大提前缓存了三套模型的中间表示和公开数据,江临带来的mpS-EvidenceGate通用反例搜索框架则提供了现成的候选生成、证据记录与回滚接口。
一名研究员把任务损失矩阵接入搜索框架。
另一名研究员根据白板上的新定义,实现证据单元的覆盖半径与局部稳定性检查。
还有人同步整理证明草稿,记录每一项尚未闭合的条件。
他们不是在几分钟内从零写出一套系统,而是在两套已经存在的工具之间,补上今天刚刚建立的接口。
整个定理的证明逻辑,被清晰地拆解成了层次分明的三层。
第一层,最基础的底座。
利用大数定律和hoeffding不等式,约束模型在公开可见样本上的经验风险。
第二层,核心的覆盖约束。
利用带局部覆盖证书的反例见证基,约束压缩算法在已覆盖的高风险分歧区域内制造任务坍缩的风险。
第三层,向未知区域外推。
利用Vc维或者Rademacher复杂度项,配合刚刚敲定的Ipm分布漂移项,将有限样本上的结论外推到真实任务分布。
下午三点五十一分。
江临在白板右下角画下一个黑色实心小方块。
定理的内部主链完成了第一次闭合。
他从第一行假设开始顺着逻辑复查。
周志华则从结论往回倒推。
十分钟后,两个人在白板中央停下。
现有推导没有发现直接缺口,关键假设也已经写明。
剩余部分仍需要书面整理、独立核验和更一般条件下的扩展。
周志华放下马克笔。
“第一条风险界的内部主链成立了。”
江临在白板最上方写下暂定名称。
【确定性映射下的任务保真压缩风险界】
“理论上是说得通了,但还不够。”江临转过身,看着周志华,“在计算机科学里,只有数学公式是远远不够的,它还需要一次真刀真枪的实验来证明它的工程价值。”
周志华闻言,嘴角微微上扬,露出了一个早有准备的笑容。
“实验环境,我早就替你准备好了。”
他打开自己面前那台一直处于休眠状态的高性能工作站。
随着屏幕亮起,三套架构完全不同,已经被打包编译好的深度压缩模型文件,整齐地排列在操作系统的桌面上。
“我们用一个经典的工业异常分类模型作为基准。”周志华介绍道,“同样的原始高维训练数据集,同样的公开测试集。
我们用了三种目前工业界最主流的手段,对这个庞然大物进行了压缩。”
【模型A:采用了目前最激进的结构化剪枝算法】
【模型b:采用了张量低秩分解技术】
【模型c:采用了一种相对保守的知识蒸馏策略】
随后,周志华调出了这三个模型在公开测试集上的那份亮眼的传统跑分结果。
【模型A:在测试集上的平均准确率高达96.
7%,而且它的参数量惊人地减少了72%】
【模型b:平均准确率96.
5%,参数量减少61%】
本章未完,请翻下一页继续阅读.........