规模化法则（Scaling Law）也称尺度定律，是被业界认为是大模型预训练第一性原理，也是在机器学习领域，特别是对于大型语言模型而言，模型性能与其规模（如参数数量）、训练数据集大小以及用于训练的计算资源之间存在的一种可预测的关系。这种关系通常表现为随着这些因素的增长，模型性能会按照一定的幂律进行改善。 Scaling Law在中文中通常被翻译为“缩放定律”或“规模定律”。这个术语在不同学科领域中有不同的应用，但在人工智能和机器学习领域，它主要用来描述模型性能如何随着模型大小、数据集大小和计算资源的增加而变化‌。 在大语言模型中，边际效益递减是指随着模型规模的增大，每增加相同数量的参数或计算资源，获得的性能提升逐渐减少的现象。这是Scaling Law中非常关键的一个方面，它对于理解和决策模型设计及其部署策略有着重要的指导意义。