首页新闻找找看学习计划

nlp的机器翻译任务,预训练模型怎么使用?

0
悬赏园豆:200 [待解决问题]

首先我确定要改变Transformer的编解码器结构,那么我是否还可以使用Bert、MASS等预训练模型?

  如果使用预训练,
 1.使用单语语料预训练的权重迁移到我的翻译模型上
 2.语料经过预训练处理,可以获取更多的语义特征,然后用这些经过预训练处理的语料来训练我自己改变结构的Transformer模型的参数权重
   1正确还是2正确?
  
nlp萌新。求教大佬。
问题补充:

我是不是可以使用ELMO来预训练我的语料,然后把训练好的词嵌入输入到我的transformer中?

pzpsus的主页 pzpsus | 初学一级 | 园豆:2
提问于:2019-11-20 20:26
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册