关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1129人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

浙江大学StaMo实现静态图像生成机器人动作

科技行者 浏览 2206

曝杨威与儿子失联!杨阳洋父母情绪崩溃

有趣的胡侃 浏览 2214

是时候考虑购买美国大豆了,为了“拴住”特朗普!

北向财经 浏览 2290

华境S登场在即 手捧华为智能全家桶走入寻常百姓家

网易汽车 浏览 705

赣州队1-0宜春队,总比分3-0夺得赣超冠军,卢欣头球破门

懂球帝 浏览 1964

终结5连败!鲍威尔24分热火力克篮网 热巴8+17小波特28分

醉卧浮生 浏览 1668

中方取消多场重要会议 李在明承诺:帮高市"搞定"中国

现代小青青慕慕 浏览 14368

有没有发现,女骑手越来越多了?

智谷趋势 浏览 3277

155亿债务压垮豪门?继母长子内斗两年,双双出局!72岁“中国民营船王”拟入主杉杉股份

经理人杂志 浏览 2696

张建勇、张国富等22人增持北汽蓝谷 刘观桥增持花了4年工资

道哥说车 浏览 1443

极氪12月交付超3万台,2025全年销量超22.4万台

大象新闻 浏览 1594

委代总统最新发声:将继续发展石油和天然气产业

环球网资讯 浏览 5882

半导体封测第一股,进击汽车电子!

飞鲸投研 浏览 1350

中俄关系为何不结盟?结伴不结盟好处更多

浏览 6300

伊姐周六热推:《长安二十四计》;电视剧《唐诡奇谭》......

伊周潮流 浏览 1468

长安汽车10月销量27.8万辆 同比增长11%

网易汽车 浏览 2063

有银行今年降了七次!存款利率又双叒下调

21世纪经济报道 浏览 2539

专访苹果副总裁:一个小红书博主,该用什么样的苹果工具?

爱范儿 浏览 1254

这不是危言耸听:最快明年,比亚迪的插混和纯电,就没有区别了

小李车评李建红 浏览 2462

玩物造心 | 指尖上的治愈与反骨

时尚COSMO 浏览 2103

瞄准2028年重要选举 郑丽文最新表态

新京报政事儿 浏览 7363
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1