DeepSeek-MTP是用在训练阶段还是推理阶段的，具体过程是怎样的？

Question

Accepted Answer

考察点：考察对DeepSeek-MTP机制阶段归属与内部流程的理解。回答思路：明确指出MTP用于训练阶段而非推理阶段 说明MTP在每个训练token后同时预测多个后续token的机制 解释MTP与主模型的共享嵌入和输出头，以及序列化预测过程 提及训练损失包含主任务与MTP模块损失

考察说明