关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者49人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

莫斯科大学突破:普通照片实现房间结构与物品识别

科技行者 浏览 1537

“食安AI博士”智能体首秀进博会!

文汇报 浏览 1363

英超前六相互交锋积分榜:曼联、维拉积12分最多,阿森纳9分

懂球帝 浏览 269

能否延续?热刺连续11个赛季晋级足总杯第四轮

懂球帝 浏览 510

81岁“中国刻蚀机之父”拟减持:已从外籍恢复为中国籍,为办理税务需要

红星资本局 浏览 534

洋河股份变脸!取消70亿保底分红,2025年利润暴雷

杠杆游戏 浏览 177

看AI变身游戏达人:莫斯科研究院开发超快视觉智能测试平台KAGE

科技行者 浏览 349

今年秋冬的皮裙流行“剪一刀”,怎么搭都好看!

LinkFashion 浏览 1464

江淮受累于大众安徽亏损,受惠于尊界S800热销

道哥说车 浏览 356

人工智能如何赋能传统工艺?成都大学这场学术活动深入求解

封面新闻 浏览 1472

贵州茅台的盈利会下降吗?

锦缎研究院 浏览 548

中国核聚变技术获国际原子能机构肯定,“环流三号”亮相聚变能国际大会

上观新闻 浏览 1605

吴子嘉问"上任后如何收拾民进党" 郑丽文回应

海峡导报社 浏览 7712

业内曝窦骁遭遇豪门杀猪盘,被女方当跳板?

萌神木木 浏览 1560

有没有发现,女骑手越来越多了?

智谷趋势 浏览 2418

特朗普失去耐心 给泽连斯基下最后通牒

华西都市报 浏览 5938

我们给有毒染料找了个“替身”,而且它真的能吃…

中国科普博览 浏览 736

烂!58岁邹兆龙翻拍《怒火重案》,擦边卖肉制作粗糙,票房仅65万

靠谱电影君 浏览 477

张继科与女友张蕊被拍 被传隐婚生子?

达达哥 浏览 976

媒体:高市早苗当选首相 对华采取挑衅措施的可能提升

界面新闻 浏览 6333

小区内装卸钢化玻璃接连发生两起事故 一人送医后身亡

大风新闻 浏览 4267
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1