这项由加州大学洛杉矶分校计算机科学系主导，联合微软亚洲研究院完成的研究，发表于2025年，目前处于同行评议阶段。有兴趣深入了解技术细节的读者可以通过arXiv:2603.29002v1查询完整论文。
当我们使用ChatGPT或其他大语言模型时，可能并不知道背后发生了什么。每当你输入一个长长的问题，或者上传一篇文档让AI分析时，计算机其实在进行着一场复杂的"记忆游戏"。研究团队发现，现在的AI系统就像一个拥有海量记忆但检索效率低下的图书馆，需要花费大量时间和电力来寻找相关信息。
现代大语言模型越来越强大，能处理的文本也越来越长。以最新的模型为例，它们能够一次性阅读和理解长达100万个词汇的文档，这相当于一本中等厚度的小说。然而，这种强大能力背后隐藏着巨大的计算成本。当模型处理这样的长文档时，需要消耗高达69GB的GPU内存，相当于一台高端游戏电脑的全部内存容量的数倍。
为了解决这个问题，研究人员开发了各种优化技术，比如稀疏注意力机制（只关注重要的部分内容）、检索增强生成（从外部数据库获取信息）和上下文记忆压缩（将信息压缩存储）。然而，这些技术看似各不相同，实际上
