关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者4716人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

深度解读“碱基编辑技术”:首个定制基因编辑疗法案例获成功

DeepTech深科技 浏览 4785

新款坦克400 4种动力+激光雷达 纯电续航200公里

念寒车评 浏览 5686

推广|| 入夏第一双鞋买得好成功!暴走1w步、搭遍小裙子

黎贝卡的异想世界 浏览 2053

雷军直播四小时回应质疑

大象新闻 浏览 4995

“疲惫脸”太丑了!有这些特征的女生怎么救?

Yuki女人故事 浏览 6257

今年夏天的裙子,叠穿才时髦!

LinkFashion 浏览 2184

提供两种动力 日产NX8有望于3-4月上市

车质网 浏览 4893

64岁男演员春节在景区打工暴瘦引担忧 曾自称不再拍戏

扬子晚报 浏览 40980

秦雯袭警风波升级!新剧开播前四天紧急撤档,上星困难唐嫣被牵连

萌神木木 浏览 5921

演员孙涛告别春晚:18次登春晚,把舞台给年轻人

素素娱乐 浏览 4761

张雨绮爆雷丢工作!省媒确认她不会上春晚

FancyMusic 浏览 4768

德央行行长妄言:若报复中国是最后一招 那就干票大的

澎湃新闻 浏览 11478

28岁中国留学生海外失联十几天 曾给家人发送信息

环球网资讯 浏览 9495

大S小行星命名,S妈骄傲发声:以你为荣

素素娱乐 浏览 1727

每体:奥尔莫将因伤错过加泰德比,预计在西超杯期间伤愈复出

懂球帝 浏览 5133

德转意甲身价涨幅榜:帕莱斯特拉+1650万,巴尔泰萨吉+1500万

懂球帝 浏览 5065

43岁张杰正式宣布退出!原因令人意外

吴蒂旅行ing 浏览 4783

26款奇瑞冰淇淋/小蚂蚁上市 报废双补价3.4万元起

网易汽车 浏览 4923

再现巨额压单!A股跳水,官媒给“题材炒作”降温,商业航天跌停潮

看财经show 浏览 4671

成本2亿预售仅166万,新片端午档垫底,该轮到观众给冯小刚上一课

靠谱电影君 浏览 1692

你适合“剪刘海”还是“露额头”?关键看这点!

Yuki女人故事 浏览 4327
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1