这项由新加坡海AI实验室与新加坡国立大学联合开展的研究发表于2026年的国际学习表征会议（ICLR），该论文编号为arXiv:2601.19362v1。有兴趣深入了解技术细节的读者可以通过这个编号查询完整论文。
当我们谈论AI训练时，其实就像在说一个巨大的烹饪工坊的故事。在这个工坊里，众多厨师需要协调工作，共同完成一道复杂的大餐制作。传统上，这些厨师们采用的是"集体行动"的方式——所有人必须同步进行每一个步骤，快手必须等慢手，整个团队的效率被最慢的那个人拖累。然而，当制作的菜品越来越复杂、食材处理时间差异越来越大时，这种"齐步走"的方式就开始显现出严重的问题。
新加坡海AI实验室的研究团队敏锐地发现了现代大语言模型训练中的这个根本性问题。他们观察到，在训练ChatGPT这类大型AI模型时，不同的计算设备就像那些厨师一样，需要处理长短不一的文本序列。有的设备分配到一句话的短文本，有的却要处理长达几万字的文档，这就造成了严重的"快慢不均"现象。更要命的是，传统的训练方式要求所有设备必须同步完成每一层的计算，这意味着处理短文本的设备必须眼睁睁地等待那些还在苦苦处理长文档的设备。
阅读全文
