在线强化学习（Online Reinforcement Learning, Online RL）作为人工智能领域解决复杂序列决策问题的核心方法之一，其应用范围持续扩展。扩散模型作为一种生成模型因其强大的拟合多模态分布能力而广为人知。它通过逐步添加和移除噪声来学习原始数据分布，在图像和视频生成领域表现出色。 然而，扩散模型直接用于Online RL可能遇到的问题包括：1. 扩散模型的损失函数项本质上是一种模仿学习损失项，但与Offline RL不同，Online RL中并不存在可供模仿的数据；2. 扩散模型的反向过程无法进行解析求熵，这使得其难以与最大熵强化学习框架相结合，从而导致算法收敛性能不佳。