关闭广告

超越纯视觉模型!不改VLM标准架构,实现像素级深度预测

新智元8900人阅读


新智元报道

编辑:LRST

【新智元导读】Meta开源DepthLM,首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略,DepthLM精准完成像素级深度估计等任务,解锁VLM多任务处理潜力,为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中,视觉语言模型(Vision Language Models, VLMs)因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下,纯视觉模型(pure vision models)在 绝对深度估计(metric depth estimation) 等三维理解任务上,凭借专门设计的网络结构与损失函数,早已达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否有可能不更改其标准架

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

没想到,曹郁竟给姚晨留下了“一手好牌”

民哥台球解说 浏览 1213

南加大团队揭秘:让AI做数学题更聪明的"长度感知"训练法

科技行者 浏览 8672

泰国在建高铁事故致数十人死亡 外交部表态

界面新闻 浏览 13435

夏天发型想清爽又好看,关键一步很多人都没做对

黎贝卡的异想世界 浏览 3447

股价连跌6天,但泡泡玛特却在全球狂飙!

正解局 浏览 8820

皮尔斯:库里强于詹姆斯,库里3次战胜詹姆斯还在巅峰詹时拿过全票MVP

懂球帝 浏览 8136

Snap联手多所高校突破:静态模型实现动态化动画生成

科技行者 浏览 7798

股份行AIC扩容至三家

北京商报 浏览 8467

中方接连被美国暗中"做局" 两个国家几乎同时对华出手

头条爆料007 浏览 12383

三星 Exynos 芯片被曝放大招:5G 基带将首次集成 AI 核心

IT之家 浏览 8815

哈维-西蒙斯:我很享受在热刺的时光;在主场拿下3分很重要

懂球帝 浏览 8770

三镇1-2新鹏城,杜加利奇破门,杨一鸣肘击染红,三镇全场0射正

懂球帝 浏览 8808

湾芯展顶流新凯来:当“隐形基建”浮出水面

北京商报 浏览 8808

秦岚自曝身体出现情况,治疗结果不尽人意

乡野小珥 浏览 7159

车主针对FSD功能起诉特斯拉案将开庭:要求退一赔三

新京报 浏览 14105

长城魏牌汽车,到底被谁“逼急”了?丨正经深度

正经社 浏览 7696

冬天穿衣也可以很简单!这些造型赶紧照搬,舒适时髦两不误

静儿时尚达人 浏览 8053

24岁小伙深夜聚餐当场吐血 医生从他肺部取出一枚笔帽

环球网资讯 浏览 12106

每月抽查5%商家 外卖平台“新国标”落地

北京商报 浏览 8197

为什么最好全款买蔚来ES8,也不要贷款分期买?套路实在太多了

大志聊车 浏览 7790

蔡依林《PLEASURE》巡回演唱会首站启幕

环球网资讯 浏览 8099
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1