关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者4352人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

蔚来2月交付2.08万台新车 同比增长57.6%

网易汽车 浏览 3793

自动驾驶激战CES:黄仁勋硬刚马斯克,中国军团已默默量产破局

电车通 浏览 4491

李斌被告!蔚来被指虚增收入和利润,港股闪崩13%

深蓝财经 浏览 5392

宝马M3旅行版正式上市 售价94.39万元

车质网 浏览 4370

马刺遭三重打击:文班脑震荡+瓦塞尔丢绝平三分 痛失主场优势

醉卧浮生 浏览 2797

广安爱众0元收购一新能源发电公司90%股权

红星资本局 浏览 6191

梅德韦杰夫终结882天冠军荒,阿拉木图夺第21冠,一纪录让人惊讶

网球之家 浏览 5491

兴业消费金融:筑梦美好生活 扎实推进高质量发展

财经众议院 浏览 4738

荷甲副班长阿尔梅罗大力神8-2横扫兹沃勒,霍恩坎普帽子戏法

懂球帝 浏览 5257

分子设计迎来AI新纪元:蒙特利尔大学让计算机成为"分子工程师"

科技行者 浏览 4471

让智驾能看懂真实世界 英伟达发布开源Alpamayo平台

网易汽车 浏览 4624

每月抽查5%商家 外卖平台“新国标”落地

北京商报 浏览 4905

这年头长得好看也成错了?!

伊周潮流 浏览 3526

齐溪晒二胎宝宝正脸!身材发福明显

松林侃世界 浏览 4652

日本经济长期疲软,日元购买力跌至53年来最低

环球网资讯 浏览 4020

美防长:战事不会“没完没了”

环球网资讯 浏览 2413

世体:因身体轻微不适,巴萨新援帕西菲科首秀将推迟

懂球帝 浏览 4324

离婚14年,宁静汪峰再传绯闻,前夫儿子为她争光

枫尘余往逝 浏览 5174

她复出拿奖,这次没人笑得出来

独立鱼 浏览 5256

夸克“C计划”浮出水面,AI超级应用卡位战升级

华夏时报 浏览 5390

普京:与乌克兰无条件停火不可能

每日经济新闻 浏览 5036
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1