谷歌大脑开源「数据增强」新招数：ImageNet准确率达85%

任何玩深度学习的人都知道人工智能算法主要是由数据驱动的。数据的质量在一定程度上决定了模型的质量。

这是深入研究的天然捷径:没有足够的数据，也不够好。

数据增强是解决这个问题的有效方法。

谷歌大脑去年提出自动增强，这确实给图像分类和目标检测等任务带来了好处。

但是缺点是显而易见的:

1。大规模采用这种方法会增加训练复杂度和计算成本；

2。正则化强度不能根据模型或数据集大小进行调整。

结果，谷歌的大脑团队提出了另一种数据增强方法，——RandAugment。

这个方法有多好？

Barret Zoph，谷歌高级大脑研究科学家说:

RandAugment是一种新的数据增强方法，比自动增强更简单、更容易使用。

主要思想是随机选择变换并调整它们的大小。

最终实验结果显示:

1。在ImageNet数据集上，准确率为85.0%，比以前的水平高0.6%，比基线高1.0%。

2。随机增强(RandAugment)与基线增强方法相比，可以将目标检测提高1.0-1.3%。

值得一提的是，这项研究的通讯作者是Quoc Viet Le，谷歌汽车背后的一位伟大的神。

当然，这样好的技术打开了源代码:

https://GitHub . com/TensorFlow/TPU/Blob/Master/Models/Official/Efficiency Net/auto augoment . py

如前所述，个人搜索是问题的关键。

所以研究人员的目标是消除数据增强过程中单独搜索的需要。

考虑到数据增强方法过去包含30多个参数，团队也将注意力转移到如何大大减少数据增强的参数空间上。

为了减少参数空间，同时保持数据(图像)的多样性，研究人员用非参数过程代替了学习策略和概率。

这些策略和概率适用于每个变换，并且该过程总是选择具有1/k的统一概率的变换，

也就是说，给定训练图像的N个变换，随机扩增(RandAugment)可以代表KN个潜在策略。

最后，要考虑的一组参数是每个增强失真的大小。

研究人员使用线性标度来表示每次跃迁的强度。简而言之，每个转换都在0到10的整数范围内，其中10代表给定转换的最大范围。

为了进一步缩小参数空间，团队观察到，在训练期间，每个变换的学习幅度遵循类似的表:

并且假设单个全局失真M(全局失真M)可能足以参数化所有变换。

这样，生成的算法包含两个参数N和M，也可以简单地用两行Python代码来表示:

因为这两个参数都是人工可解释的，N和M的值越大，正则化强度越大。

使用标准方法可以有效地执行超参数优化，但是考虑到极小的搜索空间，研究人员发现朴素网格搜索非常有效。

实验部分主要关注图像分类和目标检测。

研究人员更加关注的数据集包括:CIFS-10、CIFS-100、SVHN、ImageNet和COCO。

这样，它可以与以前的工作进行比较，以证明RandAugment在数据增强方面的优势。

数据增强的先决条件是构建一个小的代理任务，它可以反映一个更大的任务。

研究人员质疑这一假设:

用一个小的代理任务来描述这个问题适合于增强学习数据。

特别是，从两个独立的维度来讨论这个问题，这通常局限于实现小的代理任务:模型大小和数据集大小。

为了探索这一假设，研究人员系统地测量了数据增强策略对CIFS-10的影响。结果如下图所示:

其中:

图(a)显示了在各种失真量级下宽雷斯网-28-2、宽雷斯网-28-7和宽雷斯网-28-10的精度。

图(b)显示了在7种宽带资源网-28体系结构中，随着加宽参数(k)的变化而产生的最佳失真幅度。

图(c)显示了在各种失真幅度下，宽ResNet-28-10的三种训练集大小(1K、4K和10K)的精度。

图表(D)8种训练集大小的最佳失真幅度。

其中基线是默认的数据增强方法。

PBA:基于人口的增长；快速自动授权:快速自动授权；自动拨款；拉:随机扩增.</p >

但是，值得注意的是，改进CIFAR-10和SVHN模型的数据增强方法并不总是适用于像ImageNet这样的大规模任务。

同样，自动添加在图像网上的性能不如其他任务。

下表比较了图像网上随机增强和其他增强方法的性能。

在最小的模型(ResNet-50)上，RandAugment的性能类似于自动添加和快速自动添加，但在较大的模型上，RandAugment的性能明显优于其他方法，比基线高1.3%。

为了进一步测试该方法的通用性，研究者随后对COCO数据集进行了大规模目标检测的相关任务。

COCO目标检测任务平均精度(mAP)。值越高，结果越好。

我们知道数据增强可以提高预测性能，例如图像分割、三维感知、语音识别或音频识别。

研究人员说，未来的工作将研究这种方法将如何应用于机器学习的其他领域。

特别是，我想更好地了解数据集或任务是否/何时需要单独的搜索阶段来获得最佳性能。

最后，研究人员还提出了一个突出的问题:

如何为给定任务定制一组转换，以进一步提高给定模型的预测性能。你觉得这个怎么样？