现有一个能力较弱的多模态模型和一个能力较强的文本模型(如 DeepSeek-R1),如何结合两者的能力来回答与多模态相关的问题?

回答思路

1. 说明弱多模态模型负责视觉特征抽取的定位
2. 解释借助强文本模型进行推理和回答的策略
3. 覆盖纯文本查询、图像查询、文本与图像混合查询等场景
4. 讨论延迟、成本、精度等权衡及备选方案