关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者6899人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

智驾下一个关键挑战,是不被别人摘“桃子”?

虎嗅APP 浏览 6449

美智库:一旦"台独"宣布独立 仅24%大陆民众支持武统

共工之锚 浏览 44273

AI正在成为“孤独止痛药”,这是社交能力的一场不可逆退化

虎嗅APP 浏览 7111

智能设备迭代更新 酒泉将精准“跟拍”神舟回家影像

环球网资讯 浏览 4232

凌晨!全线大涨!美联储宣布:降息!鲍威尔重磅发声!

券商中国 浏览 7437

12306又上新功能:坐火车能领取积分 积分可以当钱花

大象新闻 浏览 12727

张继科与女友张蕊被拍 被传隐婚生子?

达达哥 浏览 7489

如今,领导班子责任落实,成了老大难

识局 浏览 7684

阿斯:恩里克不坐教练席而上看台的行为,在西班牙是违规的

懂球帝 浏览 8830

郭宇欣刘萧旭太原盛典现场互动 太甜了

生性洒脱 浏览 7649

智元机器人公布面向机器人的人工智能策略训练专利

财闻 浏览 6132

4.0T V8发动机 阿斯顿·马丁DB12 S官图发布

车质网 浏览 8188

她的发型又火了!年底做头发,不妨从这篇找找灵感

黎贝卡的异想世界 浏览 7193

18.68万起!新款小鹏G7/P7+增程版上市

网易汽车 浏览 7046

中方接连被美国暗中"做局" 两个国家几乎同时对华出手

头条爆料007 浏览 11633

真爱大牌返场|| 每次分享都秒没!真不愧是我爱了十年的牌子

黎贝卡的异想世界 浏览 10657

戴向宇曾单方面通知家人要和陈紫函离婚

乡野小珥 浏览 8530

以总理:以不受美伊协议涉黎巴嫩条款约束

界面新闻 浏览 3786

不一定能掀桌男主,但一定是个好演员!

伊周潮流 浏览 6866

唯一参展的中国品牌,为何能在东京车展被“挤爆”?

道哥说车 浏览 7890

汪小菲陪马筱梅拍孕肚写真,俯身听宝宝动态,幸福洋溢在脸上

素素娱乐 浏览 6911
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1