关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1789人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

看完这些上镜穿搭,国庆“美美出片”不费力

黎贝卡的异想世界 浏览 4887

鸿蒙智行享界 S9T 商品车将同步发运,全国各城市陆续开启交付

IT之家 浏览 3968

AI重塑就业版图 专项政策护航转型之路

北京商报 浏览 1869

达成停火22天内 仅有商定数量24%的卡车进入加沙

上观新闻 浏览 2858

特朗普与高市早苗首次会晤 外交部回应

政知新媒体 浏览 15078

实测 Kimi K2.5 新版本,一键让一群 AI 来给我打工。

差评XPIN 浏览 1886

全球数百美军高级将领突然被召回 特朗普发声

环球网资讯 浏览 3742

大鹏工业:外购标准件采购占比超七成 自研的被评奖项目背后现客户

金证研 浏览 3121

不好看的普通女生,如何让人误以为是美女?

Yuki女人故事 浏览 3605

AI圈再颠覆!中国AI翻译耳机通话翻译,实测震撼

新智元 浏览 3240

泽连斯基:美提议举行美俄乌国家安全顾问级别会议

国际在线 浏览 2413

约6000人被埋加沙废墟下 哈马斯:不会离开自己的土地

红星新闻 浏览 3252

OPPO Enco R5无线耳机现身中国电信终端产品库

IT之家 浏览 411

智元精灵G2机器人正式发布,已获得数亿元订单

三言科技 浏览 3174

E句话| 他骨灰都被人盗了?

仙女事件簿 浏览 2309

特朗普:我100%会加税 欧洲等着吧

澎湃新闻 浏览 11069

东方财富实控人其实的妻子和父亲近期套现约93亿

YOUNG财经 浏览 3259

乌克兰全境频遭空袭 中使馆发布重要提醒

每日经济新闻 浏览 2039

无方向盘设计 曝特斯拉Cybercab路试谍照

车质网 浏览 2338

阿尔托贝利:希望劳塔罗能保持健康,他有机会破梅阿查的纪录

懂球帝 浏览 2142

一加Ace 6T宣布12月3日发布!全球首发第五代骁龙8、超8000mAh大电池

快科技 浏览 2653
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1