从想法到实干，2018年13项NLP绝美新研究

这篇论文提出了广受好评的 ELMo，除了令人印象深刻的实验结果外，最吸引人的就是论文的分析部分，它剔除了各种因素的影响，并对表征所捕获的信息进行了分析。在下图左中语义消歧（WSD）执行得很好，它们都表明语言模型提供的语义消歧和词性标注（POS）表现都接近当前最优水平。

第一层和第二层双向语言模型的语义消歧（左）和词性标注（右）与基线模型对比的结果。

3. 常识推理数据集

将常识融入模型是 NLP 最重要的研究方向之一。然而，创建好的数据集并非易事，即使是流行的数据集也存在很大的偏好问题。今年已经出现了一些试图教机器学习常识的数据集，如华盛顿大学的 Event2Mind 和 SWAG。但 SWAG 很快就被BERT打败了。有代表性的研究成果包括：

• 论文：From Recognition to Cognition: Visual Commonsense Reasoning

• 论文地址： https://arxiv.org/abs/1811.10830

这是首个包含每个答案的基本原理（解释）的可视化 QA 数据集。而且，回答问题需要复杂的推理。创作者竭尽全力解决可能出现的偏好，确保每个答案作为正确答案的先验概率为 25%（每个答案在整个数据集中出现 4 次，其中 3 次作为错误答案，1 次作为正确答案）；这需要利用可以计算相关性和相似性的模型来解决约束优化问题。

给定一幅图像、一系列地点和一个问题，模型必须回答该问题，并提供合理的推理解释答案为什么是正确的（Zellers et al., 2018）

4.元学习

元学习 是目前机器学习领域一个令人振奋的研究趋势，它解决的是学习如何学习的问题。元学习在少样本学习、强化学习和机器人学方面有很多应用，其中最突出的应用是与模型无关的元学习（model-agnostic meta-learning，MAML），但在 NLP 中的成功应用却非常少。元学习在训练样本有限时非常有用。有代表性的研究成果包括：

• 论文 1：Meta-Learning for Low-Resource Neural Machine Translation

• 论文链接： http://aclweb.org/anthology/D18-1398

作者利用 MAML 来学习一个好的用于翻译的初始化，将每个语言对看成一个独立的元任务。资源较少的语言或许是元学习在 NLP 领域最有应用价值的场景。将多语言迁移学习（如多语言BERT）、无监督学习和元学习相结合是一个有前景的研究方向。

迁移学习、多原因迁移学习和元学习之间的差异。实线：初始化的学习。虚线：微调路径。

• 论文 2：Meta-Learning a Dynamical Language Model

• 论文地址： https://arxiv.org/abs/1803.10631

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!