百度 ERNIE 模型有近 4 年的迭代史,获得多个 SOTA 结果。最早的 ERNIE 1.0 是百度在2019 年 3 月提出的,该模型基于谷歌 BERT 模型,引入了真实世界的语义知识,增强了模型的语义表示能力。2019 年 7 月 ERNIE 2.0 问世,引入了持续学习和多任务学习概念,在16 个中英文数据集上获得 SOTA(state-of-the-art,目前最好的意思)结果。2021 年 7 月,ERNIE 3.0 问世,提出了多范式统一预训练框架,将自回归和自编码网络进行了融合,并在训练时加入了知识图谱类数据,在 SuperGLUE 测试基准上获得 SOTA 结果。