关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2230人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

星河动力谷神星一号“一箭四星”海射成功

财闻 浏览 2476

当35岁李沁遇上28岁陈哲远,CP感是门玄学

陈意小可爱 浏览 3337

新增插混系统 全新斯柯达柯珞克假想图曝光

车质网 浏览 2285

三星首发2nm移动芯片:为拔头筹,不惜“开倒车”

雷科技 浏览 2755

E句话| 在西藏办烟花秀的品牌已道歉?

仙女事件簿 浏览 3808

中方打出组合拳 美舆论:中国国庆后进入全面反击模式

看看新闻Knews 浏览 6400

内存条现货价格“跳水”三成,手机厂商却在涨价,存储市场为何两极分化?

红星资本局 浏览 848

贾国龙服软了!

数字财经智库 浏览 2413

蔚来"疯狂"招工:办公室挤不下去食堂面试 月薪可达8千

每日经济新闻 浏览 6546

冬季穿衣千万别花枝招展,这些基础穿搭,越简单才越高级耐看

静儿时尚达人 浏览 2409

AI录音设备大混战

华尔街见闻官方 浏览 2378

王楚钦抵达海口参加亚洲杯,不愧是穿搭博主

可乐谈情感 浏览 2341

除了UGG,冬天还能穿什么?

时尚COSMO 浏览 2256

最强越野车!搭载3.0T V6引擎 涉水深度900mm

隔壁说车老王 浏览 2446

推广|| 被刘亦菲、辛芷蕾种草的宝藏单品,确实很好搭!

黎贝卡的异想世界 浏览 3399

寒风中南京数十名民工扒在桥栏上吃午饭 附近摊主发声

扬子晚报 浏览 8257

德约直落三盘轻取开门红,缔造两大纪录,其中一纪录让人瞠目咋舌

网球之家 浏览 2497

这谁能想到!能伸手“救”日产汽车一把的,会是比亚迪

小李车评李建红 浏览 3451

多个品牌双11集体上调金价 每克已破1300元

潇湘晨报 浏览 31766

微博视界大会:杨幂丰满有料,白鹿珠圆玉润,迟蓬赢麻了

娱乐圈笔娱君 浏览 3368

印度总统乘坐“阵风”战斗机进行飞行体验

环球网资讯 浏览 3342
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1