为什么BERT时代没有出现scaling law？
考察说明
考察对规模法则前提、历史背景和架构差异的理解
回答思路
- 指出scaling law需拟合特定性能指标与模型规模/数据量的幂律关系
- 说明BERT时代训练数据和算力不足导致无法观察到幂律
- 解释GPT系列自回归目标更易扩展，而BERT的MLM目标有局限
- 讨论Transformer架构本身统一但行为差异来自目标和预处理
- 能提到2020年Kaplan论文和Chinchilla法则的验证过程
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。