题目：自然语言处理任务中的注意力机制的研究
主讲人：马春鹏 计算机学院博士研究生
时间：2019-07-26 上午8：30-9：30
地点：新技术楼618会议室
研究方向：机器翻译，句法分析
内容：近年来，基于神经网络的方法在自然语言处理领域发挥着重要作用。在众多基于神经网络的方法中，序列-序列模型是一个被广泛使用的框架。这一框架中的一个重要的组成模块是一个被称作“注意力机制”的模块。这一模块直接针对输入序列和输出序列之间的对应关系进行建模，使得序列-序列模型在序列较长的情形下仍然能够取得很好的效果。围绕着序列-序列模型中的注意力机制模块，我进行了一系列的研究，这些研究包括以下三个方面：（1）针对句法分析任务，提出了一种将语言学知识与注意力机制相融合的方法，提升句法分析性能，（2）针对机器翻译任务，提出了一种公理化的注意力机制，能够对词对齐信息进行建模，提升机器翻译性能，（3）对基于循环神经网络和自编码网络的序列-序列模型进行了对比，比较了注意力机制模块关于二者的不同，加深了对模型的理解。
