请比较BERT和GPT在模型架构和训练方式上的主要区别。

Question

Accepted Answer

考察点：考察对两大预训练模型架构设计差异的理解。回答思路：明确BERT是自编码模型，GPT是自回归模型 指出BERT使用双向Transformer，GPT使用单向/自回归Transformer 说明训练目标区别：掩码语言模型vs自回归语言模型 点出两者在应用场景上的典型差异

考察说明