请简述一个将Transformer用于强化学习（RL）项目的基本思想，并结合你的项目经历谈谈其中的关键设计。

回答思路

1. 能清晰解释Transformer作为策略/价值网络的基本输入输出设计
2. 能说明序列建模与RL决策过程的结合点（如历史状态编码、注意力机制）
3. 能结合具体项目描述训练流程、奖励设计或稳定训练的技巧
4. 能指出相比传统网络（如MLP/RNN）的优势与挑战