关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者739人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

宗馥莉辞职当天旗下公司宣布将使用"娃小宗" 原因披露

红星资本局 浏览 2127

长城欧拉出奇招:“一车多动力”打破单点竞争

经济观察报 浏览 1350

销量口碑双丰收 东风奕派 007 + 推动 15 万级新能源产业提质

新华报业网 浏览 1310

红旗E-QM5换电版车型正式上市 售8.98万元

车质网 浏览 1906

共建链上数商生态,推动区块链与实体经济深度融合

文汇报 浏览 2119

集微咨询发布《2025中国半导体后道设备行业上市公司研究报告》;

爱集微 浏览 1201

太阳报:曼联考虑在非洲杯期间让小将谢伊-莱西进入一线队

懂球帝 浏览 1992

“Mag 7”过时了?华尔街想要AI!

华尔街见闻官方 浏览 2634

不务正业? 理想汽车发布AI眼镜 长续航还能控车

网易汽车 浏览 1466

阿萨德垮台,谁将掌权叙利亚?

浏览 24873

凌晨3点45 德国复仇战!赢球=晋级世界杯+种子队 首发曝光

叶青足球世界 浏览 1768

潍坊一水库水现石油色承包人称死鱼超3万斤 当地回应

澎湃新闻 浏览 7277

剑桥大学定义图形世界:神经网络让纹理压缩像画家调色一样自然

科技行者 浏览 764

张智霖儿子返港,185魔童气质提升

星夜涟漪 浏览 859

谁是真汇源?

经济观察报 浏览 997

绕开监管突破24%限制 分期商城变相放贷息费高达60%

南方都市报 浏览 1388

保时捷纯电卡宴即将首发,PPE平台打造

车评网 浏览 1507

特朗普:可能接管伊朗的哈梅内伊接班人 在空袭中丧生

扬子晚报 浏览 18639

媒体:欧盟触碰伊朗"红线" 伊朗对欧洲的批评很醒目

环球网资讯 浏览 7449

小米REDMI Turbo 5 Max手机“续航耐力赛”直播战报出炉

IT之家 浏览 1013

关键时刻伊朗欧盟关系生波澜 欧盟"站队"美以惹怒伊朗

澎湃新闻 浏览 3234
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1