ERNIE 3.0 vs GPT 系列:更适合中文 NLP 模型 ERNIE 3.0 最大特点在于多范式统一和知识图谱引入。OpenAI 的 GPT 系列模型问世于2018 年 6 月,经过近 5 年的时间迭代了 GPT-1、GPT-2、GPT-3、Codex、InstructGPT、ChatGPT 等多个大版本。2022 年 11 月 ChatGPT 问世后,5 天之内用户突破百万。2023年 2 月,微软宣布旗下浏览器 EDGE 和搜索引擎 Bing 接入 ChatGPT,用对话的方式取代传统的搜索。将 ERNIE 3.0 与 GPT 系列相比,其最大特点在于采用多范式统一的大规模预 训练框架 ,融合了自回归网络+自编码网络,并在训练时 引入大规模知识图谱类数据。经过ERNIR 3.0 训练后的模型可以通过零镜头学习、少镜头学习或微调轻松地为自然语言理解和生成任务定制,其英文版在 2021年 7月SuperGLUE基准测试(SuperGLUE是 Facebook人工智能研究中心、Google DeepMind、华盛顿大学以及纽约大学共同推出的用于衡量高性能语义理解 AI 的基准测试)中取得第一名,超过人类绩效 0.8%(90.6% vs 89.8%)。