前言

相信大家在學校時可能看過小型機房，而大型資料中心通常包含多個機房。筆者曾有參觀過較為正式的機房，除了冷氣很強之外，會有嚴謹的溫控設計，像是冷熱通道分離。進去之後會一直聽到散熱系統哀嚎（運作）的聲音，可以去特定機櫃跟自己顧的幾台伺服器say hello，是滿有趣的體驗，但不會想再去了QQ

從上一篇文章中，國網中心每年消耗幾千萬在機房的電費上，除此之外資料中心也消耗了大量水資源，為什麼會這樣？筆者在這個章節研究一下具體發生了什麼事情。

Energy evaluation metrics 能源評估指標

在Day4的時候，參考了一篇論文的評估指標分類方式，這次介紹它分類的Energy evaluation metrics，因筆者不是能源專家，只能供讀者參考。

• Energy consumption - LLM的能量消耗通常以瓦時（Wh）或焦耳（J）表示，反映了LLM生命週期中使用的電力。

有2020在AAAI的研究提出了一種透過結合GPU、CPU和DRAM消耗並將其乘以電源使用效率（PUE）來計算總功耗的方法，考慮到支援整個運算基礎設施所需的額外能量。這篇的引用數超高，若有讀者有興趣，可以點進去閱讀看看。

• Carbon emission - 碳排放是模型能源使用後的溫室氣體排放量。它可以透過將能源消耗（kWh）乘以碳強度、當地電網每千瓦時能源排放的二氧化碳克數或當量（gCO2eq /kW·h）來計算。

具體而言會有多少水/電

在2023有一篇UC Riverside和UT Arlington的論文 Making AI Less “Thirsty”: Uncovering and Addressing the Secret Water Footprint of AI Models，就是在講資料中心的大量用水與人類需求之間日益緊張的關係，作者提出一種計算方法來嘗試揭示AI模型的秘密水足跡。

關於用水的部分，論文表示在微軟最先進的美國資料中心訓練GPT-3（1750億個參數）總共消耗540萬公升的水；而GPT-3模型的推理需要「喝」（即消耗）一瓶500毫升的水來進行大約10-50次回應。

關於電費的部分，目前沒有找到微軟或OpenAI的官方文獻直接證明這部分的說法，只有各方面的推估數字，有部分文章都明確寫出訓練大約1,287,000度電（kWh），筆者找不到具體的估計來源；推理的部分從IEA (International Energy Agency) 2024的一份預測2026用電的報告書 Electricity 2024 - Analysis and forecast to 2026 所述，在Google搜尋的平均電力需求是0.3 Wh，ChatGPT推測每個請求是2.9 Wh，大概是9倍之多。

為什麼資料中心如此耗水電

一個資料中心內通常包含數百到數千個伺服器機櫃，這些機櫃組成了資料中心的核心運算基礎設施。

機房是如圖右下角機櫃的很多倍大，為了要運作這樣大的機房，最重要的就是降溫的方法。除了傳統的冷熱走道隔離的設計外，空調、冷卻系統用到的抽風機、冷卻機、甚至冷卻塔等設備，空調系統加上大量伺服器本身的用電，運作起來非常耗電。

(圖源: 論文 (Li, Yang, Islam, & Ren, 2023) 左邊為發電冷卻用水；右邊為伺服器冷卻用水)

另外論文中提到AI用水主要來自三個部分：

1. 伺服器冷卻現場用水
   當然每一間公司的資料中心的設計不太一樣，其中一種設計就是冷卻塔的降溫方式，google許多資料中心就是採用這種設計，也有可能搭配外部空氣做冷卻。

2. 發電廠用水
   火力發電目前還是台灣主要的發電方式，它是非常需要大量水降溫的一種方式。

3. 伺服器製造供應鏈用水
   AI晶片和伺服器製造消耗大量水，晶圓製造需要超純水，半導體工廠冷卻也需要清潔水。

而資料中心的電力消耗，參考IEA報告書，主要分成三種：
40%是server+計算需求，40%冷卻系統，20%則是其他IT設備。

(圖源: IEA報告書引用的另一份文件Motors in data centers Powering the connected world)

延伸影片 - 如果想看Goole資料中心冷卻系統，這影片介紹的很詳細：
Google Data Center 360° Tour

全球資料中心的用電量

因筆者查不到台灣資料中心用電量相關的文獻，所以來看看全球的用電量。在IEA的報告書中有提到，目前已知2022年全球資料中心、加密貨幣和人工智慧消耗的電力約為460 TWh，幾乎佔了全球總電力需求的2%。

報告中估計到 2026 年，最糟糕的狀況下，相關的電力消耗可能會增加一倍。所以其中也提到，法規的更新、提升能源效率的技術，對於減少資料中心的能源消耗是非常重要的。

(圖源: Electricity 2024 - Analysis and forecast to 2026)

雖然報告書中並沒有寫到如何估計的，總之先相信他的數據。電力估計是很深奧的，每個地方的估計方法和結果可能都不太一樣，不過關於哪些地方消耗水電理論上是正確的。

補充，台灣唯一可以查的到的只有彰化Google資料中心的報告書
2024資料中心影響力報告：台灣
2022年，Google彰化資料中心的電力使用效能（PUE）為1.12，比1.55的全球產業平均值低0.43。同年，Google彰化資料中心便改用工業用水進行冷卻，減少對民生飲用水的需求。

章節總結

即使只有使用、沒有做LLM訓練，也應該關注一下背後會有多少成本，這也是為什麼超級電腦TOP500會有一個GREEN500的評比，筆者最近也有朋友參加永續專員相關的職缺培訓，聽說這類型的職缺好像也變多了。朋友說2023政府通過了氣候變遷因應法，之後會瞄準科技大廠、傳產製造業，在2024-2025開始課徵碳費。

具體而言怎麼減少這些水電資源的消耗又是另一個很大的難題了，查的過程中筆者有看到一篇 google機房省電方法 的文章寫得滿好的，如果有興趣的讀者可以點進去看看。

雖然知道使用GPT真的非常耗水耗電，不過筆者不能沒有GPT啊......

每日梗圖 - 沒水沒電沒電腦的話AI根本不會取代人類

(圖源: 網路)

參考資料

Our commitment to climate-conscious data center cooling
https://blog.google/outreach-initiatives/sustainability/our-commitment-to-climate-conscious-data-center-cooling/
Motors in data centers Powering the connected world
https://www.baldor.com/mvc/DownloadCenter/Files/BR267