![]()
这项由东南大学计算机科学与工程学院的陈慧怡、彭佳伟、杨旭等研究人员,联合同济大学国豪学院陈凯杰,以及伊利诺伊大学芝加哥分校的闵德海、孙常昌、严岩、程璐等学者共同完成的突破性研究,于2024年11月发表在arXiv预印本平台(编号:arXiv:2511.14159v1)。研究团队首次创建了专门用于评估大型视觉语言模型(类似于能看图说话的AI系统)在面对视觉误导时表现的综合性测试基准。
要理解这项研究的重要性,我们可以把AI模型比作一个正在学习观察世界的学生。过去,研究人员主要关注的是如何通过文字来"误导"这个学生,就像给他一个包含错误信息的题目。然而,在现实世界中,视觉本身就经常带有欺骗性——就像我们有时会把远处的灯光误认为星星,或者在昏暗的光线下把一把椅子看成人影。这种视觉上的"错觉"对AI来说同样是个挑战,但此前却很少有人系统性地研究过这个问题。
研究团队发现,现有的AI模型评估基准主要集中在两个方面:一是检测AI是否会产生"幻觉"(即编造不存在的内容),二是测试它们对恶意攻击的抵抗能力。然而,这些测试都忽略了一个关键问题:当视觉信息本身就容易产生误解时,AI会如何表现。这就像我们一直在测试学生能否正确回答