智东西
作者 陈骏达
编辑 李水青
智东西11月5日报道，近日，腾讯微信AI团队发布的一篇论文在海外AI圈引发广泛关注。论文提出了一种名为“连续自回归语言模型（CALM）”的新颖架构。与传统Transformer相比，CALM直接将训练大模型所用的计算量减少了44%，推理时的计算量也减少了34%。
CALM的核心逻辑是，将连续的K个token压缩成一个语义向量，并在生成时直接预测“下一个向量”而非“下一个token”。假设K=4，那么原本需要逐步生成4次的内容，现在只需1步即可完成，使其能在一次生成中输出更多信息，大幅提升效率。
这项研究的相关讨论在社交媒体平台X的阅读量累计已经超过100万次，在评论区引起热议。
