关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者7254人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

美媒:贾马尔-穆雷不会为加拿大出战下届世界杯&奥运会

懂球帝 浏览 4433

媒体:向乌提供"战斧"或只是幌子 特朗普可能另有打算

枢密院十号 浏览 23170

机器人爆单之后

北京商报 浏览 8039

林俊杰疑似回应恋情:无需多言

粵語经典歌單 浏览 7756

9系大六座旗舰SUV又添一员,智己LS9预售33.69万起

网易汽车 浏览 8223

中国职业拳击手周润琪在澳乘公交遇袭 头部被刺伤昏迷

三湘都市报 浏览 15017

“打飞的”半小时畅飞长三角,低空经济“飞入”进博会|聚焦2025进博会

华夏时报 浏览 7984

洪都拉斯3-0大胜海地,奎奥托建功,安东尼-洛萨诺破门

懂球帝 浏览 8473

唐一军16年敛财1.37亿获无期 曾通过妻子大搞权钱交易

界面新闻 浏览 13329

开张了,加纳乔斩获切尔西生涯处子球

懂球帝 浏览 8271

王天辰十年蛰伏终获认可 双剧同播展演技高光

老王的视角 浏览 6881

多巴胺“粉”,赫本是这样穿的!

Yuki女人故事 浏览 4688

提前锁定季后赛!浙江轻取江苏6连胜 陆文博18分庞峥麟18+5

醉卧浮生 浏览 5789

赖清德只字不提台湾光复 还在公然纪念"古宁头战役"

海峡导报社 浏览 13744

小米 17 Pro Max 手机获澎湃 OS 3.0.24.0 版本升级

IT之家 浏览 8377

孙颖莎生日晒与父母合照,一家三口共用一张脸

观察鉴娱 浏览 8280

人过五十别瞎穿!少碰花衣和紧身裤,这样穿才叫越老越有味道

静儿时尚达人 浏览 8412

腾讯与中科大联手:当AI搜索遇上"阅卷老师",文档筛选的革命来了

科技行者 浏览 2944

新一代奥迪A6L申报工信部:配置给满、V6 3.0T瞩目,拥有稀缺卖点

驾仕派 浏览 8037

曹西平告别葬礼举行,灵堂布置很温馨,小S送花篮哀悼

素素娱乐 浏览 7336

2025秋冬大衣流行趋势

LinkFashion 浏览 8474
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1