2020 年了，深度学习接下来到底该怎么走?

在 DL 1.0自然语言处理(NLP)任务中，自监督学习已被证明非常有用并取得成功(能实现最佳性能)。我们有一些可以通过预测句子的下一个单词或预测从句子中删除的单词来学习单词表示的模型(如BERT，它在 NLP 界称为无监督预训练，但本质上是自监督学习，该模型通过重建输入的缺失部分来学习)。

但是，DL 1.0语言建模方法仅从文本输入中学习，而未考虑在其他感官流以及智能体交互的环境中学习(2018年有论文做此尝试，感兴趣可前往https://arxiv.org/pdf/1810.08272.pdf 阅读论文)。基于感官环境的语言学习赋予单词更多的上下文和意义，而不仅仅是单词在句子中上下文的统计(相对于其他单词在句子中的位置)。

而目前的语言学习大多被局限为仅从文本出发进行自监督学习，不仅需要大量的训练文本，而且将模型对语言的理解仅限于单词序列的统计属性，无法与多感官环境学习相匹配。(模型无法仅通过学习单词序列的统计属性获得对空间的理解，比如：奖杯无法放入盒子，因为它太大;奖杯无法放入盒子，因为它太小;需要将“它”对应到正确的对象才能正确理解句子，第一个“它”是指奖杯，第二个“它”则是指盒子。)

迄今为止，自监督学习在图像，视频和音频方面取得的进展不如在文本方面获得的成功，尽管在图像补全(修复)，利用 GAN的视频下一帧预测模型等方面取得了一些成果。但是，从有意识的任务解决角度来看，直接在像素，视频和音频的输入空间中进行预测或许不是正确的方法(我们不会在像素级别上有意识地预测电影接下来会发生什么，我们在对象或概念级别预测)。

尽管不同的感管输入对于理解世界具有重要作用，但通过感管模态进行的输入预测或许最好在抽象的表示空间中进行，而不是在原始的输入空间(视频，音频等)，而上面已经提到过的语言理解也是需要从多感官理解世界(最后的附加注释说明了语言的特殊性质及其在DL 2.0调试中的潜在作用)。

2、利用分布式表示的组合能力

组合性提供了从一组有限的元素中创建更大(指数)组合的能力。

DL 1.0 已通过以下方式利用组合性的指数增长特点：

分布式表示的每个特征可以参与所有概念的表示，从而实现指数组合。特征组成的表示是自动学得的。将分布式表示可视化为实值(浮点数/双精度数)向量可使其变得具体。向量可以是稠密的(大多数分量具有非零值)或稀疏的(大多数分量为零，最极端情况是独热向量)。

DL 模型的每一计算层都可进一步组合，每层的输出是前一层输出的组合。 DL 1.0模型充分利用了这种组合性来学习具有多个层次的表示(例如，NLP模型学会在不同层中捕获不同层面上的句法和语义相似性)

语言具有 DL 1.0 尚未完全利用的其他可组合级别。例如，语言能编写出不可能从训练分布中提取的原创句子，也就是说不仅仅是在训练分布中出现的概率很小，出现概率甚至可能为零。这是一种比分布外(OOD)泛化更进一步的系统化泛化。最近的语言模型可以生成连贯的新颖文章，具有很高的独创性，但模型缺乏对基本概念的理解，特别是当这些文章由诸如工程概念组成时。如前所述，这种缺陷可能在一定程度上是由于缺乏扎实的语言理解，并且可能在DL 2.0中得以克服。

组合性无需仅限于创造新的句子，如下图所示，它也可以是先前概念的原创性组成(尽管语言在某种程度上可以用于描述任何概念)。

DL无法像人类一样出色地用现有数据组成新颖的概念

3、去掉 IID（独立同分布）随机变量假设

大多数DL 1.0模型假定无论是来自训练集还是测试集的数据样本，都彼此独立，并从同一分布中提取(IID假设，即训练和测试数据集的分布都可以用同一组分布参数来描述。)

从非静态环境中进行自监督学习，智能体与这种环境交互过程中(根据其从不断变化的环境中学习的本质)需要去掉 IID 假设。

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!