关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者4350人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

贵州茅台打假“飞天开放企业直供通道”等信息:有诈骗风险!

红星资本局 浏览 4464

“青云租”爆雷员工揭内幕:每个员工每月需投资30台手机,11万台集中流向两个村庄

封面新闻 浏览 5386

任泽平发声回应但斌“认错”:理性讨论比对错更重要

财视传播 浏览 4481

OpenAI:人类打字速度将成通用人工智能发展瓶颈

IT之家 浏览 4770

官宣!这座“一线”省份,继续力挺省会

西部城市 浏览 5382

智能体豪华旅行车 享界S9T30.98万元起售

网易汽车 浏览 6353

穆西亚拉庆祝梦幻回归

绿茵情报局 浏览 4487

选来选去还是这些穿搭最适合秋天,不老气、不死板,舒适大方

静儿时尚达人 浏览 5309

台湾教授苑举正痛心疾首:赖清德称"终战"是愚不可及

大象新闻 浏览 10877

何小鹏给车企转型泼冷水:并非都能顺利成为人形机器人企业

快科技 浏览 3660

科瓦奇谈客战拜仁:在安联球场一味退守通常不能得到好结果

懂球帝 浏览 5854

美的与华为强强联合,共拓AI领域创新生态

正解局 浏览 6428

从冰箱彩电大沙发到“1室1厅1厨” 场景化创新驱动中国汽车细分市场竞争升级

封面新闻 浏览 4840

湖人126-114勇士,库詹东缺阵,里夫斯21分伤退,波杰23+5+8

懂球帝 浏览 5511

农商行员工骗贷1600万 名下已无任何可供执行的财产

新京报 浏览 25563

德转为金球奖竞争评级:登贝莱最被看好,亚马尔为最大竞争对手

直播吧 浏览 6422

尼帕病毒疫情扰动全球神经,A股病毒防治板块逆势拉升

览富财经网 浏览 4415

沪漂外国网红包丢了报警 警察到现场后发现"神秘字条"

新闻晨报 浏览 18089

蔡依林《PLEASURE》巡回演唱会首站启幕

环球网资讯 浏览 4652

何赛飞劝59岁刘嘉玲生娃,传宗接代!评论区炸了

二妹扯娱 浏览 5253

二手车商称雷军在吹牛:现在有的车型降10万都没人要

都市现场 浏览 9530
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1