请详细解释BERT模型的结构原理、主要缺点及其改进模型。
考察说明
考察对BERT预训练模型原理的深入理解、局限性的把握以及相关改进工作的了解
回答思路
- 准确描述BERT的Transformer编码器结构、双向上下文建模及预训练任务（MLM与NSP）
- 清晰列举BERT的主要缺点，如训练/推理成本高、输入长度限制、微调与预训练不一致等
- 能够提出至少一个改进模型（如RoBERTa、ALBERT、DistilBERT）并说明其改进思路
- 回答体现对模型原理的掌握而非单纯背诵，能结合具体场景说明改进动机
考察对BERT预训练模型原理的深入理解、局限性的把握以及相关改进工作的了解