关闭广告

超越纯视觉模型!不改VLM标准架构,实现像素级深度预测

新智元8917人阅读


新智元报道

编辑:LRST

【新智元导读】Meta开源DepthLM,首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略,DepthLM精准完成像素级深度估计等任务,解锁VLM多任务处理潜力,为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中,视觉语言模型(Vision Language Models, VLMs)因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下,纯视觉模型(pure vision models)在 绝对深度估计(metric depth estimation) 等三维理解任务上,凭借专门设计的网络结构与损失函数,早已达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否有可能不更改其标准架

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

双向奔赴!澳优乳业再度携手江南大学 为营养健康行业发展注入创新动能

中国商报 浏览 8787

福建一无人岛垃圾泛滥 岛上有140万根玄武岩石柱群

极目新闻 浏览 8848

“北溪”爆炸案一嫌疑人被引渡至德国受审

极目新闻 浏览 8305

球员是否因阿森纳输球更有动力?瓜帅:我建议他们专注于自己

懂球帝 浏览 7762

镜报:阿联酋财团准备收购曼联股份,小贝或任此次收购代言人

懂球帝 浏览 8834

或搭载激光雷达 长城硬派越野车谍照曝光

车质网 浏览 8290

男子将热水器钢管通电致妻子触电身亡 女儿向法院求情

红星新闻 浏览 15698

胡润榜财富增长较快的雷军李书福,每分钟净赚37万和15万?

BT财经 浏览 8747

女友BELLA+封面 | 高杨:步履稳定,心向未知

伊周潮流 浏览 8467

从造豪车到百万亿美元公司,追觅俞浩:怕我们膨胀,但我们稳得很

贝壳财经 浏览 7583

《逐玉》注水风波升级!315评论区沦陷

萌神木木 浏览 7081

腾讯元宝宣布“任务”功能上线:一句话安排时间,到点就提醒

IT之家 浏览 8009

特斯拉成简配“鲶鱼”,中国品牌如何应对?

百姓评车 浏览 8712

希罗赛季首秀24+7热火险胜独行侠夺5连胜 状元14中5华盛顿27+8

醉卧浮生 浏览 8345

重磅!日产总部大楼被中国企业拿下!

电动知家 浏览 8607

NCAA常规赛:俄勒冈85-88失利,林葳14中8砍新高23分+三分绝平

懂球帝 浏览 7814

BBC两高管宣布辞职 特朗普:他们试图"介入总统选举"

红星新闻 浏览 13610

澳海滩枪案致16死 中国亲历者:流传还有"第三名枪手"

红星新闻 浏览 13937

因家人病危,布里斯班狮吼主教练将缺席下轮联赛

懂球帝 浏览 7722

郑晓龙监制!杨紫主演耗资3.5亿的史诗级传奇剧

娱乐圈笔娱君 浏览 7066

名爵MG征战古德伍德,推出两款纯电概念车

网易汽车 浏览 3621
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1