从想法到实干，2018年13项NLP绝美新研究

作者提出，用于优化神经网络模型的元学习器的行为和循环神经网络类似，它会提取一系列模型训练过程中的参数和梯度作为输入序列，并根据这个输入序列计算得到一个输出序列（更新后的模型参数序列）。他们在论文中详细描述了该相似性，并研究了将元学习器用于神经网络语言模型中，以实现中期记忆：经过学习，元学习器能够在标准 RNN（如 LSTM）的权重中，编码中期记忆（除了短期记忆在 LSTM 隐藏状态中的传统编码方式以外）。

他们的元学习语言模型由 3 层记忆层级组成，自下而上分别是：标准 LSTM、用于更新 LSTM权重以存储中期记忆的元学习器，以及一个长期静态记忆。他们发现，元学习语言模型可以通过训练来编码最近输入的记忆，就像一篇维基百科文章的开始部分对预测文章的结尾部分非常有帮助一样。

5. 鲁棒无监督方法

今年，我们观察到，跨语言嵌入方法在语言相似性低时会失效。这是迁移学习中的常见现象，源语言和目标语言设置（例如，域适应中的域、持续学习和多任务学习中的任务）之间存在差异，导致模型退化或失效。因此，使模型对这些变化更加鲁棒非常重要。有代表性的研究成果包括：

• 论文：A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings

• 论文链接： http://www.aclweb.org/anthology/P18-1073

这篇论文根据其理解构建了一个更好的初始化，而没有使用元学习作为初始化。特别地，他们将两种语言中拥有相似词分布的单词配对。这是从分析中利用领域知识和 insight 以使模型更加鲁棒的绝佳范例。

三个单词的相似性分布：与不相关的单词（「two」和「cane」（狗））相比，等效翻译（「two」和「due」）有更加相似的词分布。(Artexte et al. 2018 http://www.aclweb.org/anthology/P18-1073)

6. 理解表征

今年，人们在更好地理解表征方面做了很多工作。特别地，《Fine-grained Analysis of Sentence Embeddings Using Auxiliary Prediction Tasks》这篇论文提出了「诊断分类器」（度量学习到的表征是否能预测特定属性的任务），之后在其它研究中变得常见，如《What you can cram into a single vector: Probing sentence embeddings for linguistic properties》。有代表性的研究成果包括：

• 论文：Dissecting Contextual Word Embeddings: Architecture and Representation 

• 论文链接： http://aclweb.org/anthology/D18-1179

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!