关闭广告

超越纯视觉模型!不改VLM标准架构,实现像素级深度预测

新智元5766人阅读


新智元报道

编辑:LRST

【新智元导读】Meta开源DepthLM,首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略,DepthLM精准完成像素级深度估计等任务,解锁VLM多任务处理潜力,为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中,视觉语言模型(Vision Language Models, VLMs)因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下,纯视觉模型(pure vision models)在 绝对深度估计(metric depth estimation) 等三维理解任务上,凭借专门设计的网络结构与损失函数,早已达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否有可能不更改其标准架

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

微软秘密武器亮相,英伟达CUDA护城河遭遇直接冲击

IT之家 浏览 5643

内维尔:现在每次看切尔西比赛,都感觉他们输定了

懂球帝 浏览 2853

Here we go!罗马诺:切尔西将签下谢周三17岁边后卫阿拉奥

懂球帝 浏览 4524

印度建厂失败,大家都说特斯拉躲过一劫?福特20亿美元血本无归

小李车评李建红 浏览 1947

天数智芯成功登陆港股 四川资本赋能国产算力新突破

封面新闻 浏览 4639

中国留学生在德国遭袭反击致对方受伤 警方认定"防卫"

红星新闻 浏览 8081

杨颖素颜现身小海绵学校,被赞最美妈妈

科学发掘 浏览 1974

明明家世显赫,却凭实力成为世界冠军

梁蜱爱玩车 浏览 5508

小米研究院推出AI视频理解:让机器像人一样"回看"思考视频内容

科技行者 浏览 4655

赵磊:一个把粉丝当ATM,最后和私生锁死的男人

八卦三缺一 浏览 4740

佩德里:我不喜欢主动看新闻,保持平静更好

懂球帝 浏览 1870

大姐答应给30万拆迁款未兑现 56岁弟弟当保安至今单身

福建第一帮帮团 浏览 10736

豪华5座中大型SUV!续航2327km,瞄准理想L6

隔壁说车老王 浏览 5481

被娱乐圈催熟的林妙可王诗龄!

八星人 浏览 4666

悉尼枪手父亲被击毙儿子被制服 愤怒民众猛踩头部

潇湘晨报 浏览 10059

海港0-2町田,傅欢乌龙,海港全场1射正,相马勇纪破门

懂球帝 浏览 5102

王楚然172cm真实感,有谁不爱

蕾爸退休日记 浏览 4821

发球都不会的球员混进ITF职业比赛!引国外网友和专家愤怒

网球之家 浏览 4843

9个月出口571万辆车 中国汽车远征军杀出新血路

科学知识点秀 浏览 5568

多巴胺“粉”,赫本是这样穿的!

Yuki女人故事 浏览 1933

40余名高二学生被强收7500元网课费 两地教育局调查

大风新闻 浏览 19053
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1