基于attention的seq2seq机器翻译实践详解

机器学习 3421 Views

作者:黑龙江大学nlp实验室本科生甄冉冉

阅读大概需要 10分钟!

理理思路

  • 文本处理,这里我是以eng_fra的文本为例,每行是english[tab]french,以tab键分割。获取文本,清洗。

  • 分别建立字典,一个english,一个french。

  • 根据字典写好seq2id的函数(文本序列->数字序列),并调用将文本序列化

  • 初始化Encoder,Decoder模型;选择合适的优化器;设置lr,epochs等参数;

  • 开始循环迭代

    1.因为文本太大,这里是随机选择某句进行训练。

    2.句子通过Encoder,Encoder产生新的隐层和每层的输出;再将开始标志<SOS>通过传给Decoder结合Encoder的隐层和每层的输出(期间用到attention,下面详细讲解)产生新的预测值;这个预测值将循环替代刚才的<SOS>也就是作为上一轮的输入,继续预测,直到预测出现结束符<EOS>或者达到自己规定预定长度结束。

    3.对损失链式求导,更新参数。

  • 评估模型:因为Encoder和Decoder是训练好的,将选取的数据像上面的循环中的一样产生结果序列,对结果序列和真实序列进行比较。

文本处理,建立字典,seq2id就不用说了,这个是一般的神经网络自然语言处理必须经过的步骤。下面我来根据我的理解讲下剩下的部分,其中着重讲解Encoder,Attention,Decoder模型及过程。

Encoder

这个其实简单,我们先回忆下这个流程图:

可以看出这个就是简单的RNN,和平常的RNN做的分类任务是一样的,只不过之前的RNN我们需要的只是最后隐层,而这次我们需要它的每一个时间点的输出,即:

红色箭头所标。原因是为了实现attention机制,下面会讲具体的attention实现。现在该看我们的Encoder模型的代码啦!

细节如图所示。这里网络就两个一个Embeddng层,一个网络GRU。forward的数据流图也就是输入的是词和上一次的隐层hidden如果当前是第一次,则通过下面的init_hidden函数初始化一个hidden。然后词经过Embedding后,通过GRU产生一个每个时间点的输出列表inputs和最后的隐层hidden

train运行代码为:

然后就是Decoder了,Decoder暂时我知道的有两种,分别为Bahdanau et al. model和Luong et al. model下面按照难易理解顺序我先讲Bahdanau et al. model,然后讲Luong et al. model。

Bahdanau et al. model

这个就是我之前刚讲的那个模型,我们先来看图:

上面的这个就是基于attention的Decoder模型。我们先根据模型来慢慢的梳理我们的网络模型。

首先得需要Embedding层来完成数据输入;然后很明显需要一个GRU网络来预测词和产生接下来的隐层;而GRU由图来看得需要attention网络来评分;而GRU预测词又需要有线性层来映射到分类上,因此又多了两个网络层。总共4个网络。我们来看下代码:

这里的attention网络我一会说的。继续,我们看着下面这个图来说接下来的数据流图。

从下往上看,首先是attention根据每个Encoder输出和Decoder的上一次隐层给出每个边的得分,然后和上一次训练的预测值Embedding后cat到一起,和Decoder它的上一个时刻的隐层作为输入进入此刻的GRU,然后输出的时候就跟这个图有点差异了(应该是地方太小,图的主人画不下了吧):这个时候产生的output像我们那样,应该直接把output经过线性层输出分类了;而这个是讲output和刚才的那个attention又cat到了一起再经过线性层映射到目标语言的词典上。(应该是这样会是准确度更高吧,只是猜测。)最后再将线性层softmax下,得到具体的词。就是这么个结果,我们来看下代码吧:

context的命名来源是上下文的意思,因为attention就是为了关系到上下文而又不缺失本身的侧重点。

而我用的是接下来的这个Decoder,听我详细讲解,其实和上面的这个Decoder基本相似

Luong et al. model

这个模型和上面的差不多,就是数据流通顺序有点差异和context使用有点不同。

首先这个网络和上面的是一样的。都是4个,分别为:Embedding层,attention层,GRU层,线性层

不同的是下面的流程:

这里是用到了上一时刻的context(attention值)和上一次预测的词Embedding后cat到一起,经过GRU的。然后和上面的一样了,再计算此次的context(attention值)并和此次的GRU输出的output cat到一起经过线性层然后softmax得出预测值。

代码为:

我们来看看这个在train的运行过程:

这个过程首先它的结束标志是标准预测序列的长度,但也可以是遇到结束符<EOS>。其次,我们看出这里用的loss评价指标是我们的最普通的那种和target比较得出loss,而没有用到BLEU评价算法。

attention

终于到了我们的attention了,坚持住!

首先我们要知道这个是为了给每个Encoder的output计算权重。其中计算每个权重的score有三种方法

分别为:dot方法,general方法,concat方法。其中h_t是Encoder第t个output,此时的目标是预测Decoder的第t个词。h_s是Encoder的当前隐层。

很明显通过这个公式,我们知道:

如果是dot方法,只需要参数encoder_hidden和output_t即可;如果是general方法,就需要output_t经过一个线性层(因为线性层里只有个W,当然b另说,无伤大雅)和encoder_hidden dot下就行了;下面的cat方法就也很明显了,重点是哪个v_a,这个是一个参数,可以进行更新的参数,刚开始可随机初始化。无论用哪个方法,我们最后都得softmax下,算出相对的权重。

这个的整个流程图是这样的:

我们来看看这个代码:

上面解释很详细,应该能看懂的。

下面来介绍一个teacher_forcing方法以及teacher_forcing_ratio的用途。

teacher_forcing

我们在Decoder预测的时候,都是用到上一次预测的结果,一般情况下,在预测的前几轮都是不正确的,也就是说前面的预测本来就不正确,后面根据前面的结果再预测就是错上加错了。所以,为了加快模型训练的速度,我们引入teacher_forcing方法。很简单,就是在前几轮不管之前预测的结果,此次要用到的前面的词为真正的target词,代码为:

然而,我们有时候并不知道到底前面多少轮用到teacher_forcing,又是从什么时候开始不用的呢?后来我们又提出了teacher_forcing_ratio比率{0-1之间}。就是有teacher_forcing_ratio的几率我们用到teacher_forcing方法。实现为:

更新

这就没什么好讲的了,上代码吧:

上面的懂了,评估的也就不用讲了。

结果显示

不足以及今后的安排

不足:

  • Encoder应该用到的是biGRU,而我的是单向GRU

  • loss计算方法没有用到BLEU

  • 没有将另一种Decoder放入train中

安排:

  • 将上面的不足实现了

  • 调参得出最佳精确度

  • 得出不加attention的精确度,作对比


感谢哈工大的资料以及实验室余南师兄和宋阳师姐的指点!

如未说明则本站原创,转载请注明出处:NULL » 基于attention的seq2seq机器翻译实践详解