AI大模型背后，竟是惊人的碳排放

科技云报道

+ 关注

2023-03-06 12:10

784次阅读

自从ChatGPT这样的大型语言模型在全球引起轰动以来，很少有人注意到，训练和运行大型语言模型正在产生惊人的碳排放量。

虽然OpenAI和谷歌都没有说过他们各自产品的计算成本是多少，但据第三方研究人员分析，ChatGPT部分训练消耗了1287兆瓦时，并导致了超过550吨的二氧化碳排放量，这相当于一个人在纽约和旧金山之间往返550次。

事实上，这只是训练时的排放量，当AI大模型运行时还将排出更多的二氧化碳。

加拿大数据中心公司QScale联合创始人Martin Bouchard认为，微软和谷歌为了满足搜索引擎用户日益增长的需求，在搜索中加入ChatGPT这类生成式AI，会导致每次搜索至少增加4到5倍的计算量。

如果还要经常重新训练模型，并添加更多的参数，计算量的规模就完全不同了。

根据国际能源署（International Energy Agency）的数据，数据中心的温室气体排放量已经占到全球温室气体排放量的1%左右。

随着AI大模型和对云计算需求的增长，这一数字预计还会上升。

AI大模型，正在成为碳排放的一个重要来源。

降低AI大模型的碳排放

AI模型的训练和运营过程需要消耗大量能源，但关键问题是，如何知道及测算单个机器学习实验正在产生多少温室气体排放，以及可以减少多少？

目前数据科学家们仍无法简单可靠地获取该领域的测量结果，这也妨碍着进一步制定可行的应对策略。

针对这一问题，谷歌发表了一项研究，详细介绍了最先进的语言模型的能源成本，包括早期和更大版本的LaMDA。

研究结果表明，将高效的模型、处理器和数据中心与清洁能源相结合，可以将机器学习系统的碳足迹减少1000倍。

该团队提出了四种基本方法，可显着减少机器学习工作负载的碳（和能源）足迹，这些方法目前在Google中使用，任何使用Google Cloud服务的人都可以使用。

Google能源和碳足迹减少最佳实践（4Ms）如下：

模型：研究人员表示，选择高效的ML模型架构至关重要，因为它有可能提高ML质量，同时将计算时间缩短一半。
机器：与通用处理器相比，使用专门用于ML训练的处理器和系统可以将性能和能效提高2倍至5倍。
机械化：大多数情况下，本地数据中心更老、更小。因此，新的节能冷却和配电系统的费用无法摊销。

基于云的数据中心是全新的、定制设计的仓库，具有可容纳50000台服务器的能效特性。它们提供异常高效的电源利用率 (PUE)。

因此，在云端而不是在本地进行计算，可以节省1.4-2倍的能源并减少污染。

优化：云允许客户选择具有最清洁能源的区域，从而将总碳足迹减少5到10倍。

基于4Ms改进的模型、特定于机器学习的硬件和高效的数据中心，大大抵消了这种负载增加。

谷歌的数据表明，机器学习训练和推理在过去三年中仅占谷歌整体能源使用量的10%至15%，其中每年有35%用于推理，25%用于训练。

为了找到改进的机器学习模型，谷歌采用了神经架构搜索 (NAS)。

每个问题域/搜索空间组合通常只执行一次NAS，然后可以将生成的模型重复用于数百个应用程序，NAS的一次性成本通常被持续使用的减排量所抵消。

研究人员进行了一项研究来训练Transformer模型。

为此，他们在典型的数据中心中使用了Nvidia P100 GPU，其能源组合与全球平均水平相似，而使用TPUv4等新一代ML硬件，性能比P100提升了14倍。

同时，高效的云数据中心比普通数据中心节省1.4倍的能源，从而使总能耗降低83倍。

此外，由低碳能源驱动的数据中心可以将碳排放量再减少9倍，从而在四年内总共减少747倍。

谷歌团队认为，在信息技术领域，制造各种类型和规模的计算设备的生命周期成本，比机器学习的运营成本要高得多。

排放估算的制造成本包括制造所有相关组件（从芯片到数据中心建筑）所排放的嵌入碳。

当然，除了使用4Ms方法，服务提供商和用户还可以采取简单的措施来提高他们的碳足迹绩效，

例如：

客户应通过让数据中心提供商报告数据中心效率和每个位置的能源供应清洁度，来分析和减少他们的能源使用和碳足迹。

工程师应该在最环保的数据中心中最快的处理器上训练模型，这些数据中心越来越多地在云上。

机器学习的研究人员应该专注于设计更有效的模型，如：利用稀疏性或包括检索来减少模型。

此外，他们应该报告他们的能源消耗和碳影响。这不仅会鼓励超越模型质量的竞争，而且还可以确保对他们的工作进行正确的核算。

AI助力降低碳排放

尽管AI大模型是碳排放大户，但以AI为代表的前沿科技也正在为降碳减排做出贡献。

百度与咨询机构IDC（International Data Corporation）联合进行的研究显示：与AI相关的技术减碳贡献占比会逐年提升，到2060年将至少达到70%，减碳总量预计超过350亿吨。

以交通行业为例，2020年中国交通行业的碳排放估测量为10.4亿吨，占全国总体排放的9%。

而在驱动交通行业降碳减排过程中，使用以智能信控为主的缓堵型智能交通技术，可以有效提升城市主要道路交叉口的通行效率，千万级人口城市因此每年可至少减碳4.16万吨——这相当于1.4万辆私家车行驶一年的碳排量。

从目前的实践来看，理解和实现减排的关键是对减排的效果进行预测和监控，而AI在节能减排中具有预测排放、监测排放、减少排放三个关键应用。

据《碳中和产业发展白皮书》显示，在预测排放方面，AI 能够根据当前减排工作和需求，预测未来的碳排放量，同时为碳排放定下排放量指引。

在监测排放方面，AI 能实时跟踪碳足迹数据，从采购、生产、销售、运维、物流等全环节收集数据，提升监测准确性。

在减少排放方面，AI 收集各环节数据后，能够以全局视角对各环节工作流程做出优化调整。

事实上，在AI助力碳减排方面，目前国内多个领域已有应用。

在新能源领域，突出问题在于其具有波动性、随机性、间歇性特点。

通过AI技术结合仿真计算，对风光电的不稳定情况做场景预测，如：结合风速、风向、光照强度等自然气象特征对未来的发电量进行合理的预测，向电网输出更精准的发电计划，将新能源的不确定性、不稳定屏蔽在技术层之下。

再比如，水务集团的管辖范围包括原水、制水、供水、排水、污水、节水等。

以居民供水为例，水压过大，所需能耗大，管网漏损率高，可能会引起爆管事件；而水压过小，可能会造成居民用水不便。

为了解决这一问题，水务集团在地下部署硬件传感器监测水压、建设水务大脑，在保证安全、稳定供水的前提下，通过AI技术可以实现智能化调压控制、能耗优化。

不仅如此，AI降碳技术也应用在电厂、园区、数据中心等能源消耗较高的业务场景中，对其生产用电需求进行精确预测和控制，进行耗电设备、碳足迹的优化。

结语

AI技术的进步给人类带来了诸多便利，但也必须在发展中关注环境问题。

未来AI如何实现可持续发展，以及AI如何更好地支撑双碳领域的变革，仍是亟需各行业共同解决的问题。

本文来自微信公众号“科技云报到”（ID:ITCloud-BD），作者：科技云报道，36氪经授权发布。

科技云报道

SUSE Linux Enterprise Server

3.3

40条点评

咨询产品

免费试用

一种适应性强且易管理的平台，允许开发人员和管理员在本地、云端和边缘部署任务关键型工作负载。

亚马逊-云计算

2.8

21条点评

咨询产品

免费试用

旗下包括Amazon EC2等云计算产品，为提供IT基础设施服务，服务企业各类业务需求。

客户案例

合作品牌

金山云

2.2

5条点评

咨询产品

免费试用

知名独立云服务商

客户案例

暂无

合作品牌

云站中国

3条点评

咨询产品

免费试用

为平台商和大型企业提供云计算解决方案。

客户案例

暂无

合作品牌

星环科技

2条点评

咨询产品

免费试用

致力于打造“云计算+大数据+数据库+数据开发与智能分析”的基础平台产品，构建明日数据世界。

客户案例

合作品牌

AI大模型背后，竟是惊人的碳排放

项目管理SaaS为什么很难一家独大？答案藏在中小企业的痛点里

2021年玩私域：不懂这些你就OUT了！

SCRM如何帮助李佳琦们布局私域流量？

企业为什么要买SaaS？| 专家视角

“救命文档”打破信息孤岛，让受灾群众不再成为“孤岛”