Qwen2.5-VL 中的 Transformer 结构与普通 Transformer 结构有哪些不同？

回答思路

1. 能指出窗口注意力、交错的块级-行级切片注意力等结构差异
2. 能说明 RMSNorm、SwiGLU、RoPE 等常见变体与位置编码的处理
3. 能解释视觉编码器、视觉-语言融合（如 MLP 投影）带来的结构变化
4. 能结合计算效率与长序列处理阐述设计动机