AI晶片如何癱瘓「美國電網」?微軟工程師爆料:只要10萬片就完了

AI運算能力大增,對電力供應需求也令擔憂。(示意圖/達志影像/shutterstock)

全球掀起人工智慧(AI)熱潮,也讓AI進化成吃電巨獸!一位微軟工程師爆料,如果在美國同一個州部署超過10萬片H100 GPU高階晶片,就會導致電網癱瘓。顯見AI運算速度愈快,電力供應需求暴增將成爲令人擔憂的問題。

財聯社報導,人工智慧聊天機器人ChatGPT開發者OpenAI下個版本GPT-5模型尚未面世,似乎已開始着手訓練GPT-6,不過電力可能成爲一個「卡脖子」難題。

AI新創公司OpenPipe創辦人Kyle Corbitt在社羣平臺X上透露,自己最近與一位負責GPT-6訓練集羣項目的微軟工程師討論新版本中遇到的問題,這位工程師抱怨,不同區域GPU之間部署infiniband(無線頻寛)級別鏈接,實在非常痛苦。

Corbitt接着問「爲何不將訓練集羣集中同一個區域?」這位微軟工程師回答,有嘗試過,但是如果在一個州放置超過10萬片H100 GPU,電網就會癱瘓。

10萬片H100是什麼概念?據市場調查機構Factorial Funds的報告顯示,OpenAI的文字生成影片模型Sora在高峰期間需要72萬片H100,依該工程師說法,這個數量足以讓美國7個州的電網崩潰。

Corbitt指出,隨着越強大的AI製造出來,開發這些模型的成本也越來越高,並面臨電力供應所帶來環境挑戰。

OpenAI 執行長奧特曼(Sam Altman)曾爲AI的電力需求「叫苦」。在年初的達沃斯論壇上,他表示,AI發展需要能源方面的突破,AI將帶來遠超預期的電力需求。

有數據顯示,ChatGPT每天需要消耗超過50萬千瓦時的電力,用於處理約2億個用戶請求,相當於美國家庭日用電量的1.7萬多倍;至於搜尋巨頭谷歌,若在每次用戶搜尋中都調用AIGC,年耗電量將增至290億千瓦時,這甚至高於肯亞、瓜地馬拉等國1年的用電量。