第182章 被叫停的物理世界(9/11)
因为机器人跑出的数据还过于原始,尚未完成标准化的脱敏。
这其中复杂的物理动作代价矩阵,也没有送去给南京大学的团队进行严格的数学复核。
它目前,仅仅只能算是一份带有原始粗糙感的现实候选案例。
但是。
不到二十四小时前,这套理论还停留在大学会议室的白板上。
现在,它已经开始改变一台现实机器的控制状态表。
下午五点三十三分。
收到第一轮评议回复后,周志华同意将四组匿名数据扩大到一个封闭的同行讨论群中。
转发内容不包含定理全文、隐藏样本、项目名称和作者信息,只保留了一句问题,以及四行对比鲜明的数字。
【为什么公开成绩更高的模型,在隐藏任务中反而更差?】
【96.
7%】。
【96.
3%】。
【68.
75%】。
【97.
92%】。
很快,群里就有人冒泡,发出疑问。
【发这几个没头没脑的数字干嘛?
上面两行和下面两行,分别代表什么测试集?】
负责转发的学者很快在群里给出了简短的回复。
【上面的两行,是两个压缩模型在大家都认可的普通公开测试集上的准确率。】
【下面的两行,是同样这两个模型,在包含高风险状态对和低代价对照组的隐藏任务中,能否保留压缩前的任务区分能力。】
群里沉默了一会儿。
另一位专攻大模型架构的研究员显然仍然没转过弯来。
【这不对啊,按常理来说,上面的平均准确率不是模型A更高吗?
为什么一进入这组包含高风险状态对的隐藏任务,那个成绩最好的A,反而只有68.
75%,而那个平庸的c,却达到97.
92%?
这数据造假了吧?】
面对这种只看表面跑分的质问,负责转发的学者没有去列公式,而是在群里打了一个通俗的比方。
【这就好比,假设现在有一张关乎生死的考卷,上面一共有一千道题。】
【这其中,有九百九十道都是不痛不痒的普通选择题。
比如猫狗分类。】
【但是,里面藏着十道致命的红线题。
这十道题,决定了当工厂的设备快要爆炸时,机器到底是该继续全速运行,还是立刻切断所有电源。】
【模型A这个聪明的家伙,它把所有的精力都用在了那些普通的猫狗题上,它在那些题目里,比别人多答对了四道。
所以,最后算平均总分的时候,它高居榜首,成了状元。】
【可是在那十道不能答错的红线题里,它却答错了三道。】
本章未完,请翻下一页继续阅读.........