2019年以来，基于深度神经网络的预训练技术在技术创新和工业应用上不断取得突破，但传统预训练技术上仍有一些痛点困扰着开发者：

　　仅考虑单一粒度语义建模，缺乏多粒度语义理解能力;

　　受限于 Transformer 结构的建模长度瓶颈，无法处理超长文本;

　　聚焦语言等单一模态，缺乏工业真实应用场景针对多个模态如语言、视觉、听觉信息的联合建模能力。

　　5月20日举办的2021深度学习开发者峰会WAVE SUMMIT上，依托飞桨核心框架，百度文心ERNIE新 开源四大预训练模型：多粒度语言知识增强模型 ERNIE-Gram、长文本理解模型 ERNIE-Doc、 场景图知识的跨模态理解模型 ERNIE-ViL、语言与视觉一体的模型ERNIE-UNIMO。

　　针对传统预训练技术现存的难点痛点，此次文心ERNIE开源的四大预训练模型不仅在文本语义理解、长文本建模和跨模态理解三大领域取得突破，效果上超越谷歌、微软等业界模型，还拥有广泛的应用场景和前景，进一步助力产业智能化升级。

　　文心ERNIE开源版地址：https://github.com/PaddlePaddle/ERNIE

　　文心ERNIE官网地址：https://wenxin.baidu.com/

　　一、多粒度语言知识增强模型ERNIE-Gram

从 ERNIE模型诞生起，百度研究者们就在预训练模型中引入知识，通过知识增强的方法提升语义模型的能力。本次发布的ERNIE-Gram模型正是通过显式引入语言粒度知识，从而提升模型的效果。具体来说，ERNIE-Gram 提出显式 n-gram 掩码语言模型，学习 n-gram粒度语言信息，相对连续的n-gram掩码语言模型大幅缩小了语义学习空间（  → ，其中 为词表大小， 为建模的gram 长度），显著提升预训练模型收敛速度。

　　图1-1 连续 n-gram 掩码语言模型 vs 显式 n-gram 掩码语言模型

　　此外，在显式 n-gram 语义粒度建模基础上，ERNIE-Gram 提出多层次 n-gram 语言粒度学习，利用 two-stream 双流机制，实现同时学习 n-gram 语言单元内细粒度(fine-grained)语义知识和 n-gram 语言单元间粗粒度(coarse-grained)语义知识，实现多层次的语言粒度知识学习。

　　图1-2 n-gram 多层次语言粒度掩码学习

　　ERNIE-Gram在不增加任何计算复杂度的前提下，在自然语言推断任务 、短文本相似度任务、阅读理解任务等多个典型中文任务上，效果显著超越了业界主流开源预训练模型。此外，ERNIE-Gram 英文预训练模型也在通用语言理解任务、阅读理解任务上效果超越主流模型。ERNIE-Gram的方法被 NAACL 2021主会长文录用。

　　论文地址：https://arxiv.org/abs/2010.12148

　　二、长文本理解模型ERNIE-Doc

　　Transformer 是 ERNIE预训练模型所依赖的基础网络结构，但由于其计算量和空间消耗随建模长度呈平方级增加，导致模型难以建模篇章、书籍等长文本内容。受到人类先粗读后精读的阅读方式启发，ERNIE-Doc 首创回顾式建模技术，突破了 Transformer 在文本长度上的建模瓶颈，实现了任意长文本的双向建模。

　　通过将长文本重复输入模型两次，ERNIE-Doc在粗读阶段学习并存储全篇章语义信息，在精读阶段针对每一个文本片段显式地 全篇章语义信息，从而实现双向建模，避免了上下文碎片化的问题。

　　此外，传统长文本模型(Transformer-XL等)中Recurrence Memory结构的循环方式限制了模型的有效建模长度。ERNIE-Doc将其改进为同层循环，使模型保留了更上层的语义信息，具备了超长文本的建模能力。

　　图2-1 ERNIE-Doc中的回顾式建模与增强记忆机制

　　通过让模型学习篇章级文本段落间的顺序关系，ERNIE-Doc 可以更好地建模篇章整体信息。

　　图2-2 篇章重排序学习