语言模型是理解大模型技术的基础。本章将从传统语言模型和基于Transformer的语言模型两个方面进行介绍,包含循环神经网络(RNN)、长短期记忆(LSTM)网络、门控循环单元(GRU)和GPT的核心结构Transformer等内容。本章还将通过一个机器翻译的案例展示如何使用Transformer实现自然语言处理的任务。本章的目的是让读者对大模型理论基础有初步的认识,为后面的学习打下基础。