这项由中科院计算技术研究所、中科院大学和美团公司合作完成的研究发表于2025年9月,论文编号为arXiv:2509.22072v2。研究团队由杨万里、孙飞、唐瑞等多位研究者组成,其中孙飞博士为通讯作者。这项研究彻底颠覆了学界对一种常用AI训练方法的认知,就像发现了一个被误用多年的"万能工具"其实威力无穷。
当我们学习新知识时,大脑会在不遗忘旧知识的基础上吸收新信息。然而,现在的大型语言模型(比如ChatGPT这类AI系统)在学习新知识时却面临一个严重问题:它们要么无法有效学习新内容,要么学会了新知识却忘记了之前掌握的技能。这就像一个学生在学数学时把语文全忘了,或者学了语文却怎么也记不住数学。
长期以来,研究人员认为传统的"微调"方法(可以理解为给AI补课的一种方式)不适合用来教AI新知识。他们转而开发了各种复杂的新方法,就像医生放弃了常见药物转而研制昂贵的特效药。然而,这项研究发现,问题的根源不在于"微调"方法本身有缺陷,而是过去的使用方式完全错了。
研究团队通过深入分析发现,过去的研究者在使用微调方法时,采用了一种类似"填鸭式"的教学方式:让AI反复学习同一个知识点