![]()
这项由复旦大学、同济大学、新加坡国立大学、华盛顿大学、电子科技大学以及香港中文大学联合开展的研究发表于2026年1月,论文编号为arXiv:2601.18631v1,为多模态大语言模型的工具使用能力带来了重大突破。
现代人工智能模型就像是刚学会看图识字的学生,虽然能够理解图像内容,但在面对需要多步推理的复杂视觉任务时往往力不从心。比如让AI规划一条从起点到终点的安全路径,既要避开障碍物,又要找到最短路线,或者让AI完成拼图游戏,需要理解图像的整体结构和局部细节。这些任务对人类来说相对简单,但对AI来说却是巨大挑战。
正如人类在遇到超出自身能力的问题时会借助工具一样,研究团队提出了一个革命性的想法:让AI模型学会主动使用各种视觉工具来解决复杂问题。这就好比教会一个学生不仅要会做题,还要知道什么时候该用计算器,什么时候该用尺子,什么时候该用放大镜。
研究团队开发的AdaReasoner系统就像是培养了一位经验丰富的侦探。这位AI侦探不仅具备基本的观察能力,更重要的是,它学会了在破案过程中灵活运用各种侦查工具。当遇到需要精确定位的线索时,它会使用"放大镜工具";当需