关闭广告

超越纯视觉模型!不改VLM标准架构,实现像素级深度预测

新智元7144人阅读


新智元报道

编辑:LRST

【新智元导读】Meta开源DepthLM,首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略,DepthLM精准完成像素级深度估计等任务,解锁VLM多任务处理潜力,为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中,视觉语言模型(Vision Language Models, VLMs)因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下,纯视觉模型(pure vision models)在 绝对深度估计(metric depth estimation) 等三维理解任务上,凭借专门设计的网络结构与损失函数,早已达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否有可能不更改其标准架

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

Word再见!华为和WPS联手攻克难题:一句话生成PPT、PDF/Excel大文件秒开

快科技 浏览 5925

网友过完春节返程 "一辆车就把外婆的菜园打包了"

极目新闻 浏览 21772

日本太空航母野心披露 被指正谋划“太空珍珠港事件”

极目新闻 浏览 6303

吴倩近照曝光变化太大,脖子前伸,脸也胖一圈

翰飞观事 浏览 3053

冬季的“松弛感”,怎么穿?

Yuki女人故事 浏览 6819

助力AI全民创作 万兴科技(300624.SZ)旗下万兴天幕创作广场推出“视频教程共创激励计划”

智通财经 浏览 7515

宋承炫官宣当爸!“奉子成婚”还是早有规划

今古深日报 浏览 4366

全新外观、新增大电池版本,新款比亚迪海狮05DM申报

IT之家 浏览 6149

葡媒:被换下后发生争执,卢克巴吉奥已经向穆帅和全队道歉

懂球帝 浏览 3994

徐正源:无法以全主力出战,又存在伤病,输球很遗憾

懂球帝 浏览 7072

艾弗森怒斥轮休:让我轮休?那xx是一场比赛,有种训练也让我休息好了

懂球帝 浏览 7256

有银行今年降了七次!存款利率又双叒下调

21世纪经济报道 浏览 7021

美澳签署关键矿物协议

国际金融报 浏览 6871

搭载鸿蒙科技 昊铂A800将于12月31日上市

车质网 浏览 6334

曾经被国产质疑的增程,现在又被老外质疑了?

汽车公社 浏览 4345

伤愈复出,卡瓦尼时隔两个月再次代表博卡出场并打进一粒点球

懂球帝 浏览 6698

星河动力谷神星一号“一箭四星”海射成功

财闻 浏览 6086

她是在官宣恋情?她们真的恋爱了?

青杉依旧啊啊 浏览 6651

美伊维持停火 国际油价回落

新华社 浏览 3758

徒步甘孜失温女生不排除植物人风险:刚刚从卫校毕业

鲁中晨报 浏览 7162

中国移动咪咕发布“书香悦学计划”,以“423行动”重塑企业数智化学习新范式

环球网资讯 浏览 4381
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1