关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者6611人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

俄外交部否认俄韩秘谈朝核问题

新华社 浏览 6871

变盘?危险的下注开始了

大猫财经Pro 浏览 6663

投资6000多亿的雄安新区,如今怎么样了?

青眼财经 浏览 1565

量子位「MEET2026智能未来大会」启动!年度榜单征集中

量子位 浏览 7750

金球奖撒糖、霉霉破纪录与“鲍小强”翻车

粉红冻奶的观影日记 浏览 6828

江苏88-84逆转天津获赛季首胜,庞峥麟34分,贾尔斯25+13

懂球帝 浏览 6994

赵伟:增量财政资金落地

首席经济学家论坛 浏览 7682

全新旗舰SUV 蔚来ES9将于第二季度正式上市

车质网 浏览 6754

不一样的温子仁,最后时刻大反转!

电影最TOP 浏览 6171

铜铜铜,快要高攀不起了

每日资本论 浏览 7057

咸阳7亿多投资重点项目"未批先建" 当地:情况属实

大风新闻 浏览 12216

谷歌IMO金牌级Gemini 3深夜上线!华人大神挂帅,OpenAI无力反击

新智元 浏览 5965

马克龙再选勒科尔尼当总理遭批,法媒:没有议会支持的总统,只会陷入更深孤立

环球网资讯 浏览 7772

承德露露,温水煮青蛙

斑马消费 浏览 7480

他靠演反派爆火却对同事女儿一见钟情

张发林 浏览 8328

外国女教师性侵16岁男学生数月上百次 详情炸裂

胡侃社会百态 浏览 42876

保时捷4S店暴雷背后 两记“暴击”都是新势力给的

小李车评李建红 浏览 7031

一个时代审美的终结:美人何晴,温柔亦有筋骨

仙女事件簿 浏览 6935

星空相册|今年“个头”最大的“超级月亮”来啦

新华社 浏览 7402

NVIDIA 向英特尔投资 50 亿美元 共同开发 AI 基础设施和个人计算产品

经济观察报 浏览 8440

阿姨遛狗被狗绳拽入电梯井 多处内脏破裂

极目新闻 浏览 12312
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1