关闭广告

超越纯视觉模型!不改VLM标准架构,实现像素级深度预测

新智元5696人阅读


新智元报道

编辑:LRST

【新智元导读】Meta开源DepthLM,首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略,DepthLM精准完成像素级深度估计等任务,解锁VLM多任务处理潜力,为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中,视觉语言模型(Vision Language Models, VLMs)因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下,纯视觉模型(pure vision models)在 绝对深度估计(metric depth estimation) 等三维理解任务上,凭借专门设计的网络结构与损失函数,早已达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否有可能不更改其标准架

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

华语乐坛,困在怀旧里

虎嗅APP 浏览 4946

‍9.7分,成本400万,票房破2亿?陈思诚也压不住,年度黑马来了

靠谱电影君 浏览 2449

英超第8轮最佳球员候选:马奎尔、哈兰德、萨卡、内托在列

懂球帝 浏览 5553

OpenAI:人类打字速度将成通用人工智能发展瓶颈

IT之家 浏览 4834

邮报:拉亚已成为世界最优秀的门将之一,扑救与脚下技术俱佳

懂球帝 浏览 5606

岚图卢放:打破百年成见 重构豪华轿车价值标准

网易汽车 浏览 4876

德切利:尤文永远是我的家,我40年人生中有30年都在尤文

懂球帝 浏览 2576

最近很火的发型,原来这么简单!

黎贝卡的异想世界 浏览 5413

日本开年密集外交搞了不少小动作 引发地区国家警惕

澎湃新闻 浏览 8993

马杜罗预计5日在纽约"首次出庭"

扬子晚报 浏览 4675

女生晒春运"出国回家"攻略:连飞俄两地再坐船回黑龙江

上游新闻 浏览 24218

开扒女明星穿了5年以上的外套,原来都有一个共同点

黎贝卡的异想世界 浏览 4026

斯基拉:前米兰队长卡拉布里亚想回意甲,索要200万欧年薪

懂球帝 浏览 4421

美航母连坠两机原因引猜测

环球网资讯 浏览 5525

辽宁一小米SU7起火 疑似车内易燃物点燃

网易汽车 浏览 4178

权志龙风波升级!装不懂中文还无视中粉遭暴力对待,挚友被扒辱华

萌神木木 浏览 4916

交警视角解密:腾势N8L如何定义“安全担当”

网易汽车 浏览 4642

罗志恒:三季度经济增速为何放缓?四季度经济前景如何?

首席经济学家论坛 浏览 5661

65岁钟楚红近况曝光!老公去世18年未再嫁

代军哥哥谈娱乐 浏览 4611

旧版本全系无缝升级 乾崑智驾ADS 5与鸿蒙座舱OTA计划

网易汽车 浏览 18

以硬核智能定义超值神车 尚界H5交付破10000台

网易汽车 浏览 4988
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1