仅仅是GPT-4的GPU,一次训练就会用去2.4亿度电。AI为什么那么耗电?它们用掉的电都跑到哪里去了?有可能回收这些电转化成的能量吗?
今天我们所说的人工智能(AI),主要指的是生成式人工智能。而其中一大部分,是基于大语言模型的生成式人工智能。
它们需要大规模的数据中心来训练和推理。这些数据中心由大量服务器组成,服务器消耗的电能绝大部分转化成了热能,最后通过水冷系统释放出来。所以也可以说,AI的物理硬件是个巨大的“电热水器”。
这个说法听起来好像有点奇怪。我们都知道,服务器是一种电子计算机,而计算机中处理的是信息。信息和能量又有什么关系呢?
还真有。
处理信息需要消耗能量
1961年,在IBM公司工作的物理学家拉尔夫·兰道尔(Rolf Landauer)发表了一篇论文,提出了后来被称为“兰道尔原理”(Landauer's Principle)的理论。这一理论认为,计算机中存储的信息发生不可逆的变化时,会向周围环境散发一点点热量,其散发的热量和计算机当时所处的温度有关——温度越高,散发的热量越多。
兰道尔原理连接起了信息和能量;更具体地说,连接到了热力学第二定律上。因为逻辑上不可逆的信息处理操作,也就意味着湮灭了信息,这会导致物理世界中熵的增加,从而消耗能量。
这一原理自提出以来遭受过不少质疑。但是近十几年来,兰道尔原理已被实验证明。2012年,《自然》杂志发表了一篇文章,研究团队首次测量到了一“位”
(bit)
数据被删除时释放的微量热量。后来的几次独立实验,也都证明了兰道尔原理。