光熙论坛第748期:自然语言处理任务中的注意力机制的研究

  题目:自然语言处理任务中的注意力机制的研究

  主讲人:马春鹏 计算机学院博士研究生

  时间:2019-07-26 上午8:30-9:30

  地点:新技术楼618会议室

  研究方向:机器翻译,句法分析

  内容:近年来,基于神经网络的方法在自然语言处理领域发挥着重要作用。在众多基于神经网络的方法中,序列-序列模型是一个被广泛使用的框架。这一框架中的一个重要的组成模块是一个被称作“注意力机制”的模块。这一模块直接针对输入序列和输出序列之间的对应关系进行建模,使得序列-序列模型在序列较长的情形下仍然能够取得很好的效果。围绕着序列-序列模型中的注意力机制模块,我进行了一系列的研究,这些研究包括以下三个方面:(1)针对句法分析任务,提出了一种将语言学知识与注意力机制相融合的方法,提升句法分析性能,(2)针对机器翻译任务,提出了一种公理化的注意力机制,能够对词对齐信息进行建模,提升机器翻译性能,(3)对基于循环神经网络和自编码网络的序列-序列模型进行了对比,比较了注意力机制模块关于二者的不同,加深了对模型的理解。

点击微信扫一扫