为什么 Toolformer 相比 RLHF 更容易实现模型泛化？

Question

Accepted Answer

考察点：考察对泛化机制和训练信号性质的深入理解。回答思路：能指出自监督目标不依赖特定任务偏好，使其更适应多样场景 能说明工具调用数据的自动生成减少了对人工标注的过拟合 能对比 RLHF 可能过度优化奖励模型导致的泛化受限

考察说明