常规的模型训练即序 列训练模式,即后一个模型训练是建立在前一 个模型训练结束后,从模型参数的角度,后一个模型训练初始参数为前一个模型,但训练结束后参数有所调整,且由于训练是基于后一个任务,其对此前任务的预测准确率可能低于此前的训练结果。学界此前的解决思路是将多个任务同时训练,确保模型对不同时序加入的任务等权学习,但每新增一个任务,模型都需要重新训练此前所有的任务,这对应较高的训练成本。ERNIE 2.0 提出序列多任务学习(Sequential Multi-task Learning)模式,通过给每个任务分配 N 个训练迭代,自动将每个任务的 N 个迭代分配到不同训练阶段,兼顾学习效果和效率,较 BERT 框架继续优化。