电力饥饿的AI时代：英伟达H100 GPU耗电揭示

英伟达的每个H100 GPU的功耗高达700W，700W这意味着，如果你把它和一个常见的家用电器比较，比如一台功率为700瓦的微波炉，它们的耗电量是相同的。但不同的是，微波炉每天只用几分钟，而H100 GPU会24小时不停地工作。

再让我们用一个形象的比喻来说明这个情况：如果我们把英伟达的H100 GPU比作小小的电力“饥饿怪兽”，那么它们正在以一个越来越快的速度吞噬电力，就像一座小城市的日常需求一样。

令人惊讶的是，这些“怪兽”每年将消耗高达13091.82 GWh的电力(Nvidia 预计: 在 2023 年销售 150 万台 H100 GPU，在 2024 年销售 200 万台 H100 GPU，那么到 2024 年底将部署 350 万台此类处理器)，这个数字可以这样理解：它大约等于我国一个中等规模省份一年的电力消耗量，或是大约相当于北京和广州两个超大城市一年用电量的总和的一半左右。

但并非所有的新闻都令人担忧。随着AI和HPC GPU的效率提高，每单位功耗所完成的工作量正在增加，这意味着我们正在向着更高效的方向迈进。

例如，从2020年Nvidia的A100到预计在2024年发布的B100/200，每瓦特的算力（FP32等效）从49 GFLOPS提升至了152 GFLOPS，增长了200%以上。

这显示了科技进步的潜力，能够在满足日益增长的计算需求的同时，减少对能源的依赖。

未来AI算力的需求增长预计到2030年，基于AI应用的全球算力需求将增长至20 ZFLOPS至108 ZFLOPS（FP32等效），是2022年的22倍至120倍。

这个巨大的增长显示了对电力资源的巨大需求。将这一计算能力的增长转化为一个更形象的比喻，想象一下，如果每个浮点运算是一颗沙粒。

2022年，全球AI的算力就像是一个中等大小的沙滩，上面有大约1千亿亿颗沙粒。到了2030年，这个数字将膨胀到至少一个沙漠那么大，那里有20千万亿亿到108千万亿亿颗沙粒。这个沙漠如此之大，以至于它几乎可以覆盖整个地球表面。