这项由ServiceNow、魁北克人工智能研究院、蒙特利尔大学、约克大学、蒙特利尔理工学院和麦吉尔大学联合进行的研究发表于2025年10月，论文编号为arXiv:2510.03230v1。研究团队由王苏宇辰、张天宇、Ahmed Masry、Christopher Pal、Spandana Gella、刘邦和Perouz Taslakian等学者组成，他们致力于解决人工智能在GUI（图形用户界面）自动化中面临的核心难题。有兴趣深入了解的读者可以通过论文编号arXiv:2510.03230v1查询完整论文。
现代生活中，我们每天都要与各种软件界面打交道——从手机应用到电脑程序，从网页浏览到办公软件。如果能让人工智能像人类一样准确地识别和操作这些界面元素，将会极大提升工作效率。然而，要让AI准确找到屏幕上的按钮、文本框或菜单项，就像要求一个从未见过地图的人在陌生城市中找到特定建筑物一样困难。
这项研究的核心贡献在于解决了当前视觉语言模型在GUI定位任务中的一个根本性问题：如何将自然语言指令准确转换为屏幕上的像素坐标。研究团队发现，现有方法就像让一个盲人通过触摸来画地图一样效率低下，因为AI模型需要在没有明确参照物的
