规模定律遇上边际递减：到底是什么在放缓

围绕“规模定律是否失效”的争论，常常混淆了两件不同的事。规模定律描述的是损失（loss）随算力平滑下降，这条曲线并没有断；但预训练带来的“能力”回报，在损失还在下降时，往往先一步开始弯曲。真正在放缓的，是能力对算力的边际回报，而算力账单不在乎是哪一个先弯——钱照样烧。

先厘清机制。规模定律说的是，模型损失随参数量、数据量、算力的增加而可预测地下降，这在很宽的范围内依然成立。问题在于，损失的下降和用户感知到的“能力提升”之间不是线性的。当模型已经很强，损失再降一点，对应的能力增量可能越来越小、越来越难被察觉。这就是边际递减的来源。

这解释了行业的战略转向。当纯堆算力做预训练的边际能力回报下降，前沿实验室开始把资源投向别处：后训练、强化学习、推理时计算（让模型在回答时多想一会）。这些方向能在预训练之外榨出新的能力增量。规模定律没有被抛弃，而是它一家独大的时代结束了——能力增长的来源变得多元。

但无论能力从哪来，算力账单只增不减。更大的预训练要算力，更多的强化学习要算力，推理时计算更是把成本从“一次性训练”转移到了“每一次调用”。对 OpenAI 这样的公司，这意味着即便预训练的边际回报下降，总算力支出仍在指数级攀升——只是花钱的地方从训练更多地挪向了推理和后训练。

推理时计算的兴起尤其改变了成本结构。让模型在回答时“多思考”能显著提升复杂任务的表现，但代价是每次调用消耗的算力大增。这把一部分智能从固定的训练成本，转成了随使用量线性增长的可变成本。用得越多、越费算力，这对商业模式的含义深远——规模化不再自动摊薄成本。

对竞争格局，边际递减其实是一把双刃剑。一方面，它削弱了“谁算力多谁就赢”的简单叙事，给算法和数据效率更高的对手留出了追赶空间；另一方面，能力增长转向后训练和推理计算这些更需要工程积累和数据飞轮的领域，反而可能加固领先者的优势。放缓改变的是竞争的维度，而非竞争的激烈程度。

我们的判断：规模定律没有失效，失效的是“只靠预训练堆算力就能持续拉开能力差距”这个简化叙事。该跟踪的是能力增长的来源结构——有多少来自预训练、多少来自后训练和推理计算，以及总算力支出的构成变化。当增长越来越依赖推理时计算，OpenAI 的成本曲线和商业模式会一起被重写，这比“定律是否失效”重要得多。