在做图文生成之类的多模态微调任务时，从数据、模型或训练策略层面，有哪些手段可以保障文本与图像两类模态的对齐效果？

回答思路

1. 【回答框架 1】数据层面，文本与图像的对齐质量首先依赖数据本身。应使用强语义关联的图文对，清洗低相关或噪声样本；对文本做分词、扩写或改写，对图像做裁剪、筛选，使输入分布匹配目标任务。可用CLIP打分等自动化指标筛掉弱对齐样本，再辅以人工抽检。
2. 【回答框架 2】模型层面，常见做法是在微调时引入跨模态对齐模块，比如对比学习目标或轻量适配层，让文本编码与图像编码映射到共同空间。也可冻结预训练骨干，只训练交叉注意力层，减少灾难性遗忘并保留原始对齐能力。
3. 【回答框架 3】训练策略上，可交替或联合优化图文匹配损失与生成损失，并用温度系数控制对比学习的难易。动态调整负样本难度、采用难负例挖掘，能迫使模型学到更细粒度对齐。评估时用图文检索召回率、生成指标和人工评分共同验证。
4. 【关键点 1】数据清洗和筛除弱对齐样本是基础。
5. 【关键点 2】用对比学习或跨模态注意力实现特征空间对齐。
6. 【关键点 3】冻结骨干、微调适配层可保留原有对齐能力。
7. 【关键点 4】难负例挖掘和温度调节可提升对齐细粒度。
8. 【易错点 1】不能只用单一损失，要平衡匹配损失与生成损失，避免模式崩溃。
9. 【易错点 2】CLIP分数不能完全代表语义对齐，需结合人工评估。
10. 【易错点 3】微调过猛会破坏预训练对齐，需控制学习率和正则。