2020 年了，深度学习接下来到底该怎么走?

但是，即使是在有监督学习的问题中(例如，自动驾驶汽车对图像/对象的分类/标识)，IID假设也可能会成为负担，因为始终存在模型在训练中从未见过的现实生活场景，而且这些场景下分类错误可能会造成高昂的成本(在自动驾驶汽车的早期版本中已经有一些实例)。

尽管用大量驾驶时间的数据训练模型可以减少错误，但没有 IID 假设的学习模型比通过IID假设学得的模型，更有可能更好地处理稀有和分布外的情况。

放弃IID假设的另一个原因是：“通过对数据进行混洗使训练和测试数据同质化”的做法在创建训练模型的数据集时就引入了选择偏差。

为了实现IID，将从不同来源(包含属性差异)获得的数据进行混洗，然后分为训练集和测试集。这会破坏信息并引入虚假的关联。例如，考虑将图像分类为牛或骆驼的例子。母牛的照片全都在绿色的牧场上，而骆驼则在沙漠中。对模型进行训练后，模型可能无法对沙滩上的母牛图片进行分类，因为模型引入了虚假的关联，将绿色景观分类为母牛，将土色景观分类为骆驼。

我们可以通过让模型学习不同环境中的不变特征来避免这种情况。例如，我们可以在不同绿色比例的牧场上拍摄奶牛的照片，其中一个牧场90%是绿色，另一个牧场80%是绿色。这样模型就可以学到牧场和奶牛之间存在很强但变化的相关性，因此不能通过牧场来判断图片中的动物是不是奶牛。但是，不管母牛本身处于何种环境，模型都应该能够识别它们。

因此，通过利用不同的分布来识别不变属性，而不是将它们全部混在一起，可以防止虚假的关联性。尽管这只是一个例证，但广泛利用分布变化中的信息并学习变化分布中的不变表示，可能有助于学得鲁棒的表示。

顺便说一下，与直接确定因果关系变量相比，确定在分布变化中不变的变量相对容易，因此可以将其用作识别因果关系变量的方法，不过挑战在于找出那些变化的分布中不变的变量。

一个自然的问题是，如果我们放弃IID假设，我们如何在变化的环境中准确地学习表示?

4、两种自监督表示学习方法

自监督表示学习的两种方法为：

在输入空间中预测接下来会发生什么。

在抽象空间中预测接下来会发生什么。

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!