近年来，基于无标注数据和自监督学习的预训练大模型成为人工智能发展的新方向。该技术使用统一的模型和范式解决各类AI任务，打破了传统技术对于大规模标注数据的依赖，显著提升了AI模型的效果、通用性及泛化性。
我们在大模型上取得丰硕成果，提出了将多源丰富知识与海量异构数据相结合的知识增强大模型，显著提升了大模型学习效率、效果和可解释性。发布了全球首个知识增强千亿大模型ERNIE 3.0 Titan，参数规模2600亿，具备强大的语言理解和语言生成能力，在各类AI应用场景有很强的泛化性。此外，还在知识增强跨模态大模型、视觉大模型方面取得突破，研发了百亿参数规模的中文跨模态生成模型 ERNIE-ViLG，视觉大模型VIMER-UFO等。文心大模型已通过飞桨深度学习平台、百度智能云等赋能制造、能源、金融、通信、媒体、教育等各行各业。
工程研究中心将重点研发大规模知识获取与构建、符号知识与预训练神经网络模型的融合方法、融合文本、视觉、语音、结构化等信息统一建模、知识增强大模型的可控与可信技术等方向，让AI模型更加接近人类的理解、认知、推理和决策水平，成为AI应用底座，加速产业智能升级。