关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2831人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

香港五级大火令人揪心 一众明星发声

天启大世界 浏览 2916

香港中文大学团队突破:让AI有了"超级记忆",多步推理能力飙升!

科技行者 浏览 3163

悉尼海滩枪击事件已致16死 两名枪手1死1伤系父子关系

扬子晚报 浏览 9271

1999元起 华为畅享70X尊享版开售:麒麟8000芯片、一键发送北斗卫星消息

快科技 浏览 3593

聚辰半导体冲刺港股:9个月营收9.3亿利润3.1亿陈作涛控制24%股权

雷递 浏览 3030

有大梁更能装也智能 奇瑞威麟R08 EV上市12.78万起

网易汽车 浏览 2901

2026品牌抢滩战:从野蛮生长,到“唯人格化”

霞光社 浏览 1022

德云社董事长王惠凌晨发文,郭汾阳长大,触景生情

动物奇奇怪怪 浏览 4138

钟楚曦到底僭越了什么

虎嗅APP 浏览 3856

罗永浩炮轰电信宽带缩水:再不解决,就要在网上发疯了

观察者网 浏览 3415

2026年AI赛道群雄逐鹿,跨国车企巨头如何摆兵布阵?

禾颜阅车 浏览 3054

量产型Atlas进步巨大,但波士顿动力前途依旧黯淡

汽车公社 浏览 3016

Here we go!罗马诺:安德莱赫特边锋尼尔松-安古洛加盟桑德兰

懂球帝 浏览 2859

或将命名为镁9 方程豹首款轿车谍照曝光

车质网 浏览 3522

何赛飞年初二下海岛拜年,圈外老公罕出镜

小徐讲八卦 浏览 2527

天空体育:若利物浦向塞门约发出邀约,球员就会选择加盟

懂球帝 浏览 3355

沙溢自曝曾吃了狗吃过的面发烧三天

青杉依旧啊啊 浏览 3382

防晒专场|| 几十块到手,回购一年多才来推荐

黎贝卡的异想世界 浏览 1521

乌镇大佬聚会现场有好多人 被瘦下来的郝蕾惊艳了

娱乐圈笔娱君 浏览 3954

历史前三?阿贾-威尔逊曾表示:讨论WNBA的GOAT 我至少得是前三

直播吧 浏览 4080

京东11.11购物节官宣:10月9日晚8点正式开启

快科技 浏览 4696
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1