这项由香港科技大学广州校区xLeaF实验室团队完成的研究于2026年2月发表在预印本平台，论文编号为arXiv:2601.23000v1。研究团队提出了一种名为Mano的全新优化器，能够大幅提升大型语言模型的训练效率，同时显著降低计算成本和内存消耗。
训练大型语言模型就像是在教授一个拥有数千亿个参数的超级大脑学习语言，这个过程需要消耗巨额的计算资源和电力。现有的训练方法就好比让学生用最笨拙的方式学习数学——要么只看到局部信息而忽视整体结构，要么过度追求完美而丢失了重要细节。当前最流行的AdamW优化器就像一个只会逐个检查每道题目的老师，完全忽略了题目之间的内在联系和整体规律。而另一种叫做Muon的优化器虽然能够统一处理所有维度的信息，但在这个过程中却丢失了宝贵的曲率信息，就像为了保持答题速度一致而忽略了题目的难易程度。
研究团队从一个全新的角度来思考这个问题。他们发现，传统的流形优化方法虽然在数学理论上很优美，但在实际的大模型训练中表现很差，这让很多研究者对这类方法失去了信心。然而，港科大的研究团队没有放弃，而是创新性地改造了这些方法。
他们的核心洞察是这样的
