这项由上海交通大学、上海人工智能实验室、中国科学技术大学和复旦大学联合开展的研究发表于2025年10月，论文编号为arXiv:2510.01982v1。研究团队开发了一套名为G?RPO的全新技术框架，专门用于让AI绘画模型更好地理解和满足人类的审美偏好。
要理解这项研究的意义，我们可以把AI绘画过程想象成一个学习画画的学生。传统方法就像给学生一张完整的作品后说"画得好"或"画得不好"，但学生并不知道具体哪一笔画得好，哪一笔需要改进。这种模糊的反馈让学习过程变得缓慢而低效。
研究团队发现了现有AI绘画训练方法的两个关键问题。第一个问题是"奖励信号稀疏"，就好比一位厨师做菜时，只有等整道菜完成后才能品尝，无法在烹饪过程中及时调整火候和调料。第二个问题是"评估不够全面"，类似于只从一个角度评判一幅画作，而忽视了从不同距离、不同光线下观看的效果。
针对这些挑战，研究团队提出了创新的"颗粒化GRPO"解决方案。这套方案包含两个核心技术：单步随机采样策略和多粒度优势集成模块。
单步随机采样策略的工作原理就像给绘画过程装上了"定点导航系统"
