关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者5335人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

卢昱晓真的要被审判到这种程度吗?

伊周潮流 浏览 3236

致敬球队传奇,多特官方商城为球迷免费印11号罗伊斯

懂球帝 浏览 5808

卓伟曝天王巨星有私生子,细节和周杰伦对上了,网友扒出更多关联

萌神木木 浏览 1048

2026时髦风向:穿出氛围感才高级!

LinkFashion 浏览 5451

满配MPV三排平权 吉利银河V900上市限时26.98万起

网易汽车 浏览 5531

伊姐周日热推:电视剧《三人行》;电视剧《棕眼之谜》......

伊周潮流 浏览 5256

中国第三艘航空母舰福建舰入列

新华社客户端 浏览 6068

伊朗:伊美谅解备忘录已最终敲定 将于本周五正式签署

CCTV国际时讯 浏览 2300

送别聂卫平队伍长度超200米 韩国围棋名宿前来吊唁

极目新闻 浏览 9651

科学家刊文称:发现影响癌症进展的关键细胞

新华社 浏览 5261

2025世界青年科学家峰会聚焦开放合作

新华社 浏览 6368

蔚来ES9四月发布!车长近5.4米-比林肯领航员还大

网上车市 浏览 5629

前三季度私募产品“超涨”十强!复胜、远信、歌汝等夺冠!

私募排排网 浏览 6601

斯帕莱蒂为跑轰尤文注入灵魂,奥彭达被重新“救活”

体坛周报 浏览 5930

一年暴赚233%的新“公募一哥”,新基才刚刚回本

深蓝财经 浏览 5599

特朗普拿错剧本了?刚扬言要禁中国“地沟油”,就遭美媒啪啪打脸

北向财经 浏览 6389

俄军中将遭汽车炸弹袭击身亡 目击者:没开几米车突然爆炸

红星新闻 浏览 5768

2025年首例被北交所暂缓审议的企业出炉 永大股份上市缘何待考?

叩叩财讯 浏览 6051

50+的女性,大衣、直筒裤、皮草这么穿,冬天保暖显瘦两不误

静儿时尚达人 浏览 4961

三星最贵手机:Galaxy Z TriFold三折叠手机跑分首曝

IT之家 浏览 5934

美伊签署备忘录!国际油价跌破80美元,高盛下调油价预期,化工品承压

华夏时报 浏览 2434
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1