机器之心报道
机器之心编辑部
在过去十年中，AI 的进步主要由两股紧密相关的力量推动：迅速增长的计算预算，以及算法创新。
相比之下，计算量的增长较容易衡量，但我们仍然缺乏对算法进步的清晰量化，究竟哪些变化带来了效率提升，这些提升的幅度有多大，以及它们在不同计算规模下是否依然成立。
2024 年，有研究通过分析数百个语言模型，他们估计在过去十年里，算法进步在所谓的有效计算量（effective compute）方面贡献了超过 4 个数量级的提升；而根据对历史 AI 文献的分析，计算规模本身增长了 7 个数量级。
具体而言，所有算法创新加起来使模型的效率提高了大约 22,000 倍，这意味着在理论上可以用少得多的浮点运算次数（FLOPs）达到相同的性能水平。
然而，我们仍然缺乏对这类进步的精确分解，而关于算法进步来源的许多关键问题仍未得到充分研究。例如：各种算法改进之间是如何相互作用的？算法进步是由一系列小
