1 CNN、LSTM文本分类。实验采用半监督的方式,通过少量标注数据训练模型,再用训练好的模型对大量的无标注数据进行分类,从而代替人工标注,提高效率。
2 带有注意力机制的Seq2Seq+双层LSTM模型完成中译英机器翻译任务,并且利用Seq2Seq模型在新闻文本公开数据集上实现了通过新闻标题生成关键词,训练好的模型可以生成标题中不存在但是有意义的词语,经过对比发现注意力机制在模型中发挥了重要作用。构建Transformer模型实现机器翻译和文本生成任务,了解了self attention的基本原理。
1 CNN、LSTM文本分类。实验采用半监督的方式,通过少量标注数据训练模型,再用训练好的模型对大量的无标注数据进行分类,从而代替人工标注,提高效率。
2 带有注意力机制的Seq2Seq+双层LSTM模型完成中译英机器翻译任务,并且利用Seq2Seq模型在新闻文本公开数据集上实现了通过新闻标题生成关键词,训练好的模型可以生成标题中不存在但是有意义的词语,经过对比发现注意力机制在模型中发挥了重要作用。构建Transformer模型实现机器翻译和文本生成任务,了解了self attention的基本原理。