为什么机器学习模式要消耗那么多能量？ 最重要的原因是正在训练这些模型的数据集本身也在迅速增肥。 在使用包含30亿个单词的数据集进行训练后，BERT模型在2018年实现了同类最佳的自然语言处理(NLP )性能。 使用包含320亿个单词的培训集完成培训后，XLNet超过了BERT。 不久，GPT-2开始在包含400亿个单词的数据集上接受训练。 最终是前面提到的GP

在训练过程中，神经网络需要为每一条数据执行一整套冗长的数算（正向传播与反向传播），并以复杂的更新模型参数。因此，数据集规模越大，与之对应的算力与能源需求也在飞速增长。

导致AI模型大量消耗能源的另一个理由，在于模型开发过程中所需要的大量实验与调整。目前，机器学习在很大程度上仍是一个反复实验试错的流程。从业人员通常会在训练过程中为当前模型构建数百个版本，并通过不断尝试各类神经架构与超参数确定最佳设计方案。

之前提到的2019年论文中还包含一项案例研究，研究人员们选择了一个体量适中的模型（显然要比GPT-3这样的庞然大物小得多），并对训练其最终版本所需要的电力、以及生产最终版本所需要的试运行总量进行了统计。

在为期六个月的过程中，研究人员共训练了该模型的4789个不同版本，折合单GPU运行时长为9998天（超过27年）。考虑到所有因素，研究人员们估计，该模型的构建过程将产生约7万8000磅二氧化碳，超过美国成年人两年的平均二氧化碳排放量。

而到这里，我们讨论的还仅仅是机器学习模型的训练部分。而训练只能算是模型生命周期的开始；在训练完成之后，我们还需要在现实环境中使用这些模型。

在现实环境中部署并运行AI模型（即推理过程），所带来的能源消耗量甚至高于训练过程。实际上，英伟达公司估计，神经网络全部算力成本中的80%到90%来自推理阶段，而非训练阶段。

例如，我们可以考虑自动驾驶汽车中的AI模型。我们需要首先对该神经网络进行训练，教会它驾驶技巧。在训练完成并部署至车辆上之后，该模型将持续不断地进行推理以实现环境导航——只要汽车仍在行驶，模型的推理过程就将不间断地进行。

毋庸置疑，模型中包含的参数量越大，推理阶段所带来的电力需求就越夸张。

要探讨这个问题，我们先要找到能源使用与碳排放之间的对应关系。那么，该如何准确判断这种对应关系？

根据美国环保署（EPA）公布的数据，在美国，一千瓦时电力平均对应0.954磅二氧化碳排放量。这一平均值反映了碳足迹变化以及美国电网当中的不同电力来源（包括可再生能源、核能、天然气以及煤炭等）的客观比例。

如上所述，Strubell在分析中采用了美国本土的电力碳排放平均值，以根据不同AI模型的能源需求计算对应的碳排放量。这个假设已经相当合理，因为Amazon Web Services的电力组合就一致符合美国整体的发电来源结构，而目前的大多数AI模型都会选择在公有云端进行训练。

当然，如果尽可能使用可再生能源产生的电力进行AI模型训练，其碳足迹必将有所降低。例如，与AWS相比，Google Cloud Platform的电力结构中可再生能源的比例更高（根据Strubell的论文，AWS的可再生能源占比17%，谷歌方面则占比56%）。

我们也可以再举个例子，由于所在地区拥有丰富的清洁水电资源，因此大西洋西北部区域的硬件设施在训练模型时所产生的碳排放将低于全美平均水平。值得一提的是，目前各大云服务供应商都在强调其在碳排放控制方面做出的努力。

但总体来说，Strubell认为美国的整体电力组合仍然具有充分的说服力，可用于大体准确地估算出AI模型的碳足迹。

模型体量与模型性能之间的关系，则能帮助我们了解提升模型规模到底能够给AI技术发展带来怎样的帮助。这方面数据倒是非常明确：模型体量的持续增加，最终会导致性能回报急剧下降。

我们用实例来证明这个观点。ResNet是一套于2015年发布的知名计算机视觉模型。该模型的改进版本名为ResNeXt，于2017年问世。与ResNet相比，ResNeXt需要的计算资源提升了35%（按总浮点运算量计算），但精度却只增长了0.5%。

在艾伦人工智能研究所2019年发表的论文中，我们可以看到更详尽的比较数据，其中记录了不同任务、模型与AI子领域的模型规模收益递减情况。与GPT-2相比，最新发布的超大型GPT-3模型也出现了显著的收益递减迹象。

文章来源：《可再生能源》 网址: http://www.kzsnyzzs.cn/zonghexinwen/2022/1209/1623.html

上一篇：可再生能源论文写作（浅谈可再生资源论文）
下一篇：华北电力大学校庆致辞（可再生能源论文的格式