这项由上海AI实验室、浙江大学、中国科学技术大学深圳分校等机构联合完成的突破性研究发表于2025年9月，论文编号为arXiv:2509.24709。研究团队包括陈阳、刘明浩、沈雨帆等多位来自不同院校的研究者，项目由上海AI实验室的沈雨帆教授领导。有兴趣深入了解的读者可以通过该论文编号查询完整论文内容。
当我们浏览网页时，看到精美的界面、流畅的动画效果和各种交互功能，很少有人会想到这背后需要大量的代码来支撑。传统上，要让AI学会制作网页，研究者们通常只给它看静态的截图，然后让它生成对应的代码。这就像让一个人仅凭一张照片就要画出整幅画作一样，缺少了很多重要信息。
然而，真实的网页远比静态截图复杂得多。当用户点击按钮时页面会发生变化，当鼠标悬停在某个区域时会出现新的内容，当用户填写表单时系统会给出相应反馈。这些动态的交互过程包含了网页运作的核心逻辑，但在传统的AI训练方法中却被完全忽略了。
正是在这样的背景下，研究团队提出了一个革命性的想法：为什么不让AI观看完整的用户操作视频，就像人类学习使用软件一样，通过观察整个交互过程来理解网页的工作原理呢？
阅读全文
