关闭广告

超越纯视觉模型!不改VLM标准架构,实现像素级深度预测

新智元7141人阅读


新智元报道

编辑:LRST

【新智元导读】Meta开源DepthLM,首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略,DepthLM精准完成像素级深度估计等任务,解锁VLM多任务处理潜力,为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中,视觉语言模型(Vision Language Models, VLMs)因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下,纯视觉模型(pure vision models)在 绝对深度估计(metric depth estimation) 等三维理解任务上,凭借专门设计的网络结构与损失函数,早已达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否有可能不更改其标准架

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

外资公募绩优产品持仓曝光!

券商中国 浏览 6710

男子夜钓遭枪击 家属:行凶者把猎枪扔河里 警方找7天

扬子晚报 浏览 11075

2025年利润在4%徘徊,车圈是从从容容还是连滚带爬‌?

禾颜阅车 浏览 6321

造车,京东方向盘转向的下个万亿市场?

速度计 浏览 7120

杨振宁先生缅怀室设在父亲曾执教的小楼里|封面新闻记者清华采访侧记

封面新闻 浏览 6916

这些才是适合普通人的穿搭!秋天多穿蓝色单品和风衣,好耐看

静儿时尚达人 浏览 6942

男子爬衡山丢80.88克金牌 失主:做好找不回的打算了

极目新闻 浏览 10542

将于四季度上市 东风日产新款天籁亮相

车质网 浏览 6359

诺和诺德董事长携6名董事集体辞职,董事会“大换血”,年薪5000万CEO此前离任

红星资本局 浏览 7052

韩硕辞职后首战!新疆42分狂胜送四川18连败 齐麟复出11分

醉卧浮生 浏览 6086

阿莫林的耻辱之最

体坛周报 浏览 6057

央视披露:"哪吒"造车3年亏183亿 多地国资投资难追回

新京报政事儿 浏览 36493

宗馥莉几乎搞砸了一切

功夫财经 浏览 6935

弗里克:很不满意拉菲尼亚受伤;还没和特尔施特根聊过

懂球帝 浏览 5855

孔蒂:上赛季我们的夺冠出乎意料,这赛季的目标是全力卫冕

懂球帝 浏览 6443

读懂IPO|奥特蛋真有暴利?金添动漫靠情绪价值年入近9亿元,正由经销批发走向零售店

时代周报 浏览 6770

国内首个开放式机器人租赁平台在沪发布,已触达50个重点城市

澎湃新闻 浏览 6283

10月份,本田飞度就卖出去3辆,你没看错,就是3辆

凡兮说 浏览 7019

俄军中将在汽车炸弹爆炸中身亡 现场画面披露

央视新闻客户端 浏览 6199

媒体:马杜罗大难临头仍相信"不至于" 但美却赶尽杀绝

文汇报 浏览 12079

中国算力进入拐点:“用多了就有生态,用少了生态就跑了”

第一财经资讯 浏览 7624
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1