关闭广告

超越纯视觉模型!不改VLM标准架构,实现像素级深度预测

新智元8125人阅读


新智元报道

编辑:LRST

【新智元导读】Meta开源DepthLM,首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略,DepthLM精准完成像素级深度估计等任务,解锁VLM多任务处理潜力,为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中,视觉语言模型(Vision Language Models, VLMs)因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下,纯视觉模型(pure vision models)在 绝对深度估计(metric depth estimation) 等三维理解任务上,凭借专门设计的网络结构与损失函数,早已达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否有可能不更改其标准架

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

迷雾剧场新剧:超越悬疑,窥见人心

吐槽电影院 浏览 7882

国外版欧阳娜娜?看看她是怎么从“泯然众人”化身审美模板的

黎贝卡的异想世界 浏览 2658

“花式”揽储:有银行送鸡蛋吸引他行储户,多家中小银行上调存款利率……

中国基金报 浏览 7111

当《蚁人》照进现实: 西湖大学造出能爬会游、摔不坏的“机器小强”

都市快报橙柿互动 浏览 8596

7万级方盒子,后独悬+Flyme Auto,吉利牛仔不讲武德

盖世汽车 浏览 4330

外国投资者7月美债持仓再创新高,加拿大、中国、印度持仓下降

华尔街见闻官方 浏览 8888

喻国明:正因为人常常不按“最优”计算行动,世界才充满魅力

上观新闻 浏览 6923

伊朗军方:绝不容忍任何侵略行为

极目新闻 浏览 1871

200多斤小伙落水漂浮7小时 钱塘江大潮来临之际获救

新民晚报 浏览 8241

亮出“小红卡”加入本地生活争夺赛,小红书不硬刚

钛媒体APP 浏览 8570

刘越:申花最后的点球判罚的太牵强,阿利米踢球合理简练

懂球帝 浏览 7909

拉总:诺坎普改叫梅西球场?不合适

体坛周报 浏览 7344

中国人被提醒撤离刚果金 有人宁愿冒险:月入五六万

潇湘晨报 浏览 19570

艾科维曾通过外部客户转贷逾千万元 两家“0人”供应商合计撑起超五千万元采购额

金证研 浏览 8117

女子连续偷吃5个蛋挞 转身大摇大摆走掉

极目新闻 浏览 27815

富豪阮鸿献给爱女发过亿大红包,已连续三年未登上胡润百富榜

雷达财经 浏览 7508

陈伟霆透露何穗生产过程经历,坦言不太顺利

今古深日报 浏览 4937

马赛主席在从曼联签下梅森·格林伍德前询问了他的母亲

绿茵情报局 浏览 6880

夸克“C计划”浮出水面,AI超级应用卡位战升级

华夏时报 浏览 7889

《御赐小仵作2》空降续集开播!最新口碑出炉,观众评价一针见血

娱乐圈笔娱君 浏览 7125

农妇收玉米时遇山体坍塌失联4天 周边马路出现大坑

红星新闻 浏览 19103
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1