![]()
这项由上海AI实验室、浙江大学、中国科学技术大学深圳分校等机构联合完成的突破性研究发表于2025年9月,论文编号为arXiv:2509.24709。研究团队包括陈阳、刘明浩、沈雨帆等多位来自不同院校的研究者,项目由上海AI实验室的沈雨帆教授领导。有兴趣深入了解的读者可以通过该论文编号查询完整论文内容。
当我们浏览网页时,看到精美的界面、流畅的动画效果和各种交互功能,很少有人会想到这背后需要大量的代码来支撑。传统上,要让AI学会制作网页,研究者们通常只给它看静态的截图,然后让它生成对应的代码。这就像让一个人仅凭一张照片就要画出整幅画作一样,缺少了很多重要信息。
然而,真实的网页远比静态截图复杂得多。当用户点击按钮时页面会发生变化,当鼠标悬停在某个区域时会出现新的内容,当用户填写表单时系统会给出相应反馈。这些动态的交互过程包含了网页运作的核心逻辑,但在传统的AI训练方法中却被完全忽略了。
正是在这样的背景下,研究团队提出了一个革命性的想法:为什么不让AI观看完整的用户操作视频,就像人类学习使用软件一样,通过观察整个交互过程来理解网页的工作原理呢?
阅读全文