这项由马里兰大学巴尔的摩分校的Shubhashis Roy Dipta教授与英特尔实验室的Tz-Ying Wu、Subarna Tripathi等研究团队共同完成的研究发表于2024年9月,论文编号为arXiv:2509.16538v1。对于那些想要深入了解技术细节的读者,可以通过这个编号在学术数据库中查找完整论文。
当我们观看一段视频时,如果有人为这个视频写了一段描述文字,你如何判断这段描述是否准确呢?这听起来像是一个简单的问题,但对计算机来说却是一个巨大的挑战。就好比你请朋友帮你描述一幅画,你需要判断朋友的描述是否靠谱——但问题是,你手里没有这幅画的"标准答案"。
传统的做法就像考试时需要标准答案一样。研究人员会让人工写出视频的"正确"描述,然后用这些标准答案来评判其他描述的好坏。但这种方法有个致命问题:获得这些标准答案需要花费大量人力和金钱,而且当我们面对互联网上海量的视频时,根本不可能为每个视频都准备标准答案。
更糟糕的是,现有的评估方法就像一个粗心的老师,经常给错误的答案打高分。研究团队发现,即使一段描述把视频中的小提琴说成吉他,把男人说成女人,现有的评估系