蜜途网
    首页 > 国内 > 模型难复现不一定是作者的错,研究发现模型架构要背锅

模型难复现不一定是作者的错,研究发现模型架构要背锅

来源:TechWeb   时间:2022-03-21 22:41:52   阅读量:11998   

在不同初始化条件下,同一神经网络经过两次训练可以得到相同的结果吗。

模型难复现不一定是作者的错,研究发现模型架构要背锅

CVPR 2022的一篇研究通过将决策边界可视化的方法,给出了答案mdash,mdash,

有的容易,有的很难。

例如,从下面这张图来看,研究人员就发现,ViT比ResNet要更难复现:

研究人员还发现,模型的可复现性和模型本身的宽度也有很大关联。

同样,他们利用这种方法,对2019年机器学习最重要的理论之一mdash,mdash,双下降现象进行了可视化,最终也发现了一些很有意思的现象。

来看看他们具体是怎么做的。

更宽的CNN模型,可复现性更高

深度学习中的决策边界,可以用来最小化误差。

简单来说,分类器会通过决策边界,把线内线外的点归为不同类。

从中我们可以发现:

左边三个和右边四个差异很大,也就是说不同架构之间的相似性很低。

再进一步观察,左边的全连接网络,ViT和MLP Mixer之间的决策边界图又不太一样,而右边CNN模型的则很相似。

在CNN模型中,我们还可以观察到不同随机数种子之间明显的的重复性趋势,这说明不同初始化配置的模型可以产生一样的结果。

并发现更宽的CNN模型似乎在其决策区域具有更高的可复现性,比如WideRN30。

以及采用残差连接结构的CNN模型的可复现性得分比无此连接的模型要略高。

此外,优化器的选择也会带来影响。

在下表中,我们可以看到SAM比标准优化器产生了更多可重复的决策边界。

不过对于MLP Mixer和ViT,SAM的使用不能总是保证模型达到最高的测试精度。

有网友表示好奇,如果通过改善模型本身的设计,能改变这种现象吗。

可视化ResNet—18的双下降现象

双下降是一个有趣的概念,描述是测试/训练误差与模型大小的关系。

在此之前,大家普遍认为参数太少的模型泛化能力差mdash,mdash,因为欠拟合,参数太多的模型泛化能力也差mdash,mdash,因为过拟合。

而它证明,两者的关系没有那么简单。具体来说:

误差会先伴随着模型的增大而减小,然后经过模型过拟合,误差又增大,但伴随着模型大小或训练时间的进一步增加,误差又会再次减小。

他们通过宽度参数的改变来增加模型容量。

训练出的两组模型,其中一组使用无噪声标签的训练集,另一组则带有20%的噪声标签。

最终,在第二组模型中观察到了明显的双下降现象。

线性模型预测的模型不稳定性也适用于神经网络,不过这种不稳定性表现为决策区域的大量碎片。

也就说,双下降现象是由噪声标签情况下决策区域的过度碎片引起的。

具体来说,当k接近/达到10时,由于模型此时拟合了大部分训练数据,决策区域被分割成很多小块,变得混乱和破碎,并不具备可重复性,此时模型的分类功能存在明显的不稳定性。

而在模型宽度很窄和很宽时,决策区域碎片较少,有高水平的可重复性。

模型的可复现性得分如下:

同样可以看到,在参数化不足和过参数化的情况下,整个训练过程的可复现性很高,但在插值阈值处会出现故障。

有趣的是,即使没有噪声标签,研究人员发现他们设计的量化方法也足够敏感,可以检测到可复现性的细微下降。

目前代码已经开源,要不要来试试你的模型是否容易复现。

论文地址:

GitHub链接:

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。

猜你喜欢

游客在进入北京环球度假区时须核验北京健康宝和有效身份证件
游客在进入北京环球度假区时须核验北京健康

具体如下:北京环球度假区继续按照相关政府部门的限流要求,以预约入园的形式加强人流动态监测和...详情

2022-04-28
杭州湘湖的草坪人气很高不少人在这里搭帐篷
杭州湘湖的草坪人气很高不少人在这里搭帐篷

湘湖边乱搭帐篷,煞了春日风景景区出台最新政策,将设置临时帐篷搭建区,后续还要增设露营服务区...详情

2022-04-14
南非徐霞客在云南:从行万里路到吃百碗米线的文化之旅
南非徐霞客在云南:从行万里路到吃百碗米线

题:南非徐霞客在云南:从行万里路到吃百碗米线的文化之旅杜安睿来自南非,是一名国际注册会计师...详情

2022-04-10
广州新增3例本土确诊病例双层观光巴士全部停运
广州新增3例本土确诊病例双层观光巴士全部

广州新增3例本土确诊病例双层观光巴士全部停运广州市政府新闻办公室21日公布的信息显示,过去...详情

2022-03-22