在设计神经网络时，怎样选择合适的隐藏层数量以及每一层中神经元的个数？
考察说明
考查对神经网络结构设计原则的理解，包括模型容量、过拟合与计算资源的权衡，以及常见经验法则的适用性。
回答思路
- 【回答框架 1】神经网络的层数决定模型的抽象能力：层数越多，可以学习到更复杂的特征，但也会增加参数数量、训练难度和过拟合风险。没有万能公式，需根据任务复杂度、数据量和计算资源权衡。
- 【回答框架 2】神经元数每层代表该层的特征维度。通常从较小规模开始，如单隐层或两隐层，每层神经元数可参考输入和输出维度的折中，例如取输入维度的0.5到2倍。
- 【回答框架 3】增加层数和神经元数会提高模型容量，但可能导致过拟合，可以使用正则化、Dropout、早停和交叉验证来控制。数据量较少时，更倾向于小网络；数据量大且任务复杂时，可尝试较深网络。
- 【回答框架 4】实践上推荐从简单模型开始，逐步增加复杂度，观察验证集性能变化。使用自动化超参数搜索（如网格搜索、随机搜索、贝叶斯优化）比手动调整更系统。此外，预训练和迁移学习可以减少对网络设计的依赖。
- 【关键点 1】层数和神经元数没有确定公式，取决于任务、数据量和资源。
- 【关键点 2】层数增加利于特征抽象，但易过拟合且训练更慢。
- 【关键点 3】神经元数可参考输入维度倍数经验，但需结合正则化。
- 【关键点 4】从简单模型开始，逐步增加复杂度并用验证集评估。
- 【关键点 5】使用超参数搜索和正则化能更有效设计网络。
- 【易错点 1】盲目堆叠大量层或神经元，容易导致过拟合和训练负担。
- 【易错点 2】认为神经元的数量必须与输入输出维度完全相关，忽视网络容量非线性。
- 【易错点 3】忽视正则化作用，仅靠调参，难以找到稳定且泛化好的网络。