关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3465人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

消息称小米汽车部分门店将开放端到端辅助驾驶体验

IT之家 浏览 4482

香港65公斤黄金被劫价值超半亿 西九龙重案组深夜通报

极目新闻 浏览 17568

张继科与女友张蕊被拍 被传隐婚生子?

达达哥 浏览 4136

马杨马君妍官宣怀二胎,马立奥要当哥哥了

扒虾侃娱 浏览 4600

中国汽车发动机新格局丨大众、丰田不再主流,谁主沉浮?

小鹏财经 浏览 4679

德国15人“大军”突然撤离格陵兰 原因公布

澎湃新闻 浏览 7742

鞠萍姐姐正式退休!中专学历特批进央视,44岁再婚送儿子英国留学

萌神木木 浏览 819

厚外套+半裙=今冬绝美穿搭,巨洋气巨显瘦!

Yuki女人故事 浏览 4647

美军演练与解放军大规模作战 专家分析

北京日报 浏览 2696

曝英特尔、AMD已售出今年大部分服务器CPU产能,考虑Q1涨价

IT之家 浏览 3541

钉钉推出全新AI原生工作平台“悟空”

IT之家 浏览 2738

白百何七百字长文控诉导演

不八卦会死星人 浏览 4541

德约回应针对他受伤的新闻:媒体总爱断章取义

网球之家 浏览 3683

我真的服了汪顺!老天爷到底给他关过哪扇窗啊?

小光侃娱乐 浏览 4129

吕焯毅:我们踢得很团结有韧劲,大家都满意这场比赛

懂球帝 浏览 4576

首次庭审细节披露:马杜罗声音洪亮 称自己是战争囚犯

看看新闻Knews 浏览 7414

上海一辆汽车突然失控撞向人行道 男子在一旁猛喝热水

上观新闻 浏览 23651

北京外援动态!马帝昂或已打完最后一场,正与麦基谈判,状态拉满

篮球资讯达人 浏览 3774

男子"手搓"小船带着儿子游太湖被困:船刚开出一公里

上游新闻 浏览 22943

11国将承认巴勒斯坦国之际 美国追加60亿美元对以军售

界面新闻 浏览 22807

网友称在按摩时遭51岁技师摸下体猥亵 门店:他才来3天

大风新闻 浏览 98610
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1