加入收藏 | 设为首页 | 会员中心 | 我要投稿 惠州站长网 (https://www.0752zz.com.cn/)- 办公协同、云通信、物联设备、操作系统、高性能计算!
当前位置: 首页 > 建站 > 正文

关于GAN的灵魂七问

发布时间:2019-04-17 06:41:02 所属栏目:建站 来源:机器之心编译
导读:副标题#e# 生成对抗网络在过去一年仍是研究重点,我们不仅看到可以生成高分辨率(10241024)图像的模型,还可以看到那些以假乱真的生成图像。此外,我们还很兴奋能看到一些新的生成模型,它们能生成与 GAN 相媲美的图像,其主要代表就是流模型 Glow。 从 Deep

乍一看,答案好像是肯定的——毕竟,多数 GAN 中的判别器只是个图像分类器而已。如果梯度噪声成为瓶颈,大的批量可以加速训练。然而,GAN 有一个分类器没有的独特瓶颈:训练步骤可能存在差异。因此,我们提出以下问题:

有证据表明,提高 minibatch 大小可以改进量化结果并减少训练时间。如果这一现象是鲁棒的,说明梯度噪声是非常重要的一个因素。然而,这一结论还没有得到系统性的验证,因此我们相信这一问题还有待解答。

交替训练步骤能否更好地利用大批量?理论上来看,最优传输 GAN 比一般 GAN 具有更好的收敛性,但需要一个大的批量,因为这种 GAN 需要对齐样本和训练数据批量。因此,最优传输 GAN 似乎是扩展到非常大的批量的潜在候选方法。

最后,异步 SGD 可以成为利用新硬件的不错备选项。在这种设定下,限制因素往往是:梯度更新是在参数的「陈旧」副本上计算的。但 GAN 实际上似乎是从在过去参数快照(snapshots)上进行的训练中获益,所以我们可能会问,异步 SGD 是否以一种特殊的方式与 GAN 训练交互。

GAN 和对抗样本之间有什么关系?

众所周知,对抗样本是图像分类任务需要克服的一大难题:人类难以察觉的干扰可以导致分类器给出错误的输出。我们还知道,有些分类问题通常可以有效学习,但鲁棒地学习却极其困难。

(编辑:惠州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读