关于GAN的灵魂七问
乍一看,答案好像是肯定的——毕竟,多数 GAN 中的判别器只是个图像分类器而已。如果梯度噪声成为瓶颈,大的批量可以加速训练。然而,GAN 有一个分类器没有的独特瓶颈:训练步骤可能存在差异。因此,我们提出以下问题: 有证据表明,提高 minibatch 大小可以改进量化结果并减少训练时间。如果这一现象是鲁棒的,说明梯度噪声是非常重要的一个因素。然而,这一结论还没有得到系统性的验证,因此我们相信这一问题还有待解答。 交替训练步骤能否更好地利用大批量?理论上来看,最优传输 GAN 比一般 GAN 具有更好的收敛性,但需要一个大的批量,因为这种 GAN 需要对齐样本和训练数据批量。因此,最优传输 GAN 似乎是扩展到非常大的批量的潜在候选方法。 最后,异步 SGD 可以成为利用新硬件的不错备选项。在这种设定下,限制因素往往是:梯度更新是在参数的「陈旧」副本上计算的。但 GAN 实际上似乎是从在过去参数快照(snapshots)上进行的训练中获益,所以我们可能会问,异步 SGD 是否以一种特殊的方式与 GAN 训练交互。 GAN 和对抗样本之间有什么关系? 众所周知,对抗样本是图像分类任务需要克服的一大难题:人类难以察觉的干扰可以导致分类器给出错误的输出。我们还知道,有些分类问题通常可以有效学习,但鲁棒地学习却极其困难。 (编辑:惠州站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |