关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者5466人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

乌在黑海海域击沉一艘俄“影子舰队”油轮

上观新闻 浏览 4843

特朗普转发针对古巴强硬言论:鲁比奥将成"古巴总统"

环球时报国际 浏览 15031

8亿买入5%股份!四川国资战略入股湖南百亿锂电龙头,标的前三季度净利大增118.85%

红星资本局 浏览 6610

韩星张元英辱华发酵!相关代言遭抵制品牌方回应,本人持续装糊涂

萌神木木 浏览 4805

最新民调:超六成美国人反对扩大对伊军事行动

上观新闻 浏览 3805

vivo、OPPO“大炮对轰”:手机为何卷成相机?

北京商报 浏览 6626

网友过完春节返程 "一辆车就把外婆的菜园打包了"

极目新闻 浏览 21400

国米官方:博尼左膝轻微扭伤,将在下周接受进一步评估

懂球帝 浏览 5954

癌症晚期男子驾车撞死婆孙2人后病亡 法院判赔超200万

台州交通广播 浏览 5520

乌镇大佬聚会现场有好多人 被瘦下来的郝蕾惊艳了

娱乐圈笔娱君 浏览 6450

全力向上!重庆铜梁龙赛季最后一个主场将展示全场拼图TIFO

懂球帝 浏览 6507

娜扎被抢休息室,网友扒出疑似林允

萌神木木 浏览 6808

为新能源再投10亿,苹果为何还不造车?

BT财经 浏览 6922

NVIDIA 向英特尔投资 50 亿美元 共同开发 AI 基础设施和个人计算产品

经济观察报 浏览 7342

博纳老板于冬被澳门赌场追债400多万

严肃八卦 浏览 4703

HWG被网友质疑,罗马诺回应:想要确定信息可以去等官网公告

懂球帝 浏览 252

修杰楷承认造假!逃役失败因贾静雯怀孕提前退伍,面临牢狱之灾

萌神木木 浏览 5505

让城市有“面子”更有“里子” 建设韧性城市行动方案发布

央视财经 浏览 6659

俄黑海港口设施遭袭,乌军证实实施火力打击

潇湘晨报 浏览 6305

比亚迪连续4个季度超越特斯拉

大象新闻 浏览 6594

高通AI研究团队让图像生成快1.7倍

科技行者 浏览 5741
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1