馬斯克4個月建成世界最強超算！10萬塊H100，將訓練Grok-3

智東西編譯 吳浪娜編輯 漠影

智東西9月4日消息，據Business Insider、《財富》雜誌報道，埃隆·馬斯克（Elon Musk）週二在社交平臺X上宣佈，其AI初創公司xAI於上週末上線了名爲“Colossus”的超級計算機。

該集羣擁有10萬塊英偉達H100處理器，是世界上最強大的AI訓練系統。若xAI能夠獲得5萬塊英偉達新推出的H200系列處理器，Colossus的規模將在幾個月內擴大1倍。

Colossus從設計到完成僅用了122天，將被用於訓練xAI的大型語言模型Grok。馬斯克還說，希望在12月發佈Grok-3。Grok與大家熟知的GPT-4是競爭對手。

▲馬斯克在X上宣佈Colossus已上線。（圖源：Business Insider）

一、10萬塊H100處理器，xAI通過特斯拉間接保障芯片供應

Colossus搭載了10萬塊英偉達標準Hopper H100處理器，這是任何其他單個AI計算集羣都無法比擬的。

高性能GPU是強大AI模型所必需的計算能力來源。

馬斯克估計，如果xAI能夠獲得5萬塊英偉達新推出的、更先進的H200系列芯片（其性能大約是前者的兩倍），Colossus的運算能力將在幾個月內增加1倍。

馬斯克於2023年7月創立了xAI，直到今年6月才選定美國孟菲斯作爲Colossus的建設地點。Colossus僅用122天完成上線，建設速度可謂驚人。

在X上，英偉達數據中心賬戶迴應馬斯克的帖子稱：“令人興奮的是，世界上最大的GPU超級計算機Colossus，在創紀錄的時間內上線了。”

自2022年底ChatGPT發佈以來，AI的炒作熱潮讓各家公司爭相搶購英偉達的芯片。由於需求激增和供應受限，導致芯片短缺。

儘管獲取芯片並不容易，但各家公司仍會想各種辦法來確保芯片的供應，並將其投入使用，以便在競爭中領先對手。

馬斯克作爲英偉達的重要客戶，承諾僅特斯拉一家今年就會在其硬件上花費30億到40億美元。

特斯拉將英偉達已經交付給它的AI芯片轉手給了xAI，在芯片供應方面xAI獲得了先發優勢。

二、Grok-3或將成爲最強大AI，特斯拉可能投資xAI

Colossus將被用於訓練xAI的大語言模型Grok-3。

“我們希望能在12月發佈Grok-3，到那時，Grok-3應該是世界上最強大的AI。”馬斯克曾在播客中說道。

許多特斯拉專家推測，它最終將爲特斯拉的人形機器人Optimus提供動力。

馬斯克對此寄予厚望，認爲這個具有戰略意義的燈塔項目，每年可能爲特斯拉帶來1萬億美元的利潤。

上個月，Grok-2的早期測試版已向用戶推出。

它僅在大約1.5萬塊英偉達H100處理器上進行了訓練，但根據一些聊天機器人排行榜的標準，它已經是功能強大的AI大型語言模型之一。

風投公司紅杉資本（Sequoia Capital）的合夥人肖恩·馬奎爾（Shaun Maguire）在X上寫道，xAI團隊現在“可以使用世界上最強大的訓練集羣”來構建其Grok聊天機器人的下一塊版本。他補充說：“在過去幾周裡，Grok-2已經迅速躋身最先進模型之列。”

由1.5萬塊到10萬塊，GPU數量增加近7倍，這說明，馬斯克並不打算在開發通用人工智能（AGI）的競爭中向OpenAI屈服。他曾因擔心谷歌主導這項技術，而在2015年底幫助薩姆·阿爾特曼（Sam Altman）共同創立了OpenAI。後來他與阿爾特曼發生爭執，現在正再次起訴OpenAI。

此外，xAI在5月的B輪融資中籌集了60億美元，得到了安德森·霍洛維茨（Andreessen Horowitz）和紅杉資本等風險投資公司的支持。

特斯拉可能是下一家投資馬斯克xAI的公司。

馬斯克還談道，他將向特斯拉董事會提議，就是否向xAI投資約50億美元進行投票。這一提議受到了許多股東的歡迎。

他曾在X上寫道，“我之前說過，特斯拉今年將在AI相關支出上花費大約100億美元，其中約一半是內部支出，主要是特斯拉設計的AI推理計算機和所有汽車中都配備的傳感器，以及Dojo（特斯拉定製的AI超級計算機）。”

三、Colossus規模超越Meta公司集羣，馬斯克與扎克伯格打擂臺

風投公司Air Street Capital的創始人兼普通合夥人納森·貝納什（Nathan Benaich）一直在追蹤科技公司收購的H100 GPU數量。

他統計Meta共有35萬塊，xAI有10萬塊。馬斯克的另一家公司特斯拉則有3.5萬塊。

在7月發表的一篇研究論文中，Meta表示其Llama 3大型語言模型的最大版本是在1.6萬塊H100 GPU上訓練的。

3月，該公司宣佈“對Meta的AI未來進行重大投資”，建立了兩個各有2.4萬塊GPU的集羣，以支持Llama 3的開發。

這說明，xAI最新的訓練集羣Colossus比用於訓練Meta最大AI模型的集羣要大得多。

這讓馬斯克得以與硅谷的競爭對手馬克·扎克伯格一較高下。

結語：xAI產品戰略待明朗，運行Colossus爲城市資源增壓

與大多數AI公司一樣，xAI技術的商業化仍存在很大的不確定性。“xAI能夠在馬斯克的帶領下籌集到如此多的資金並取得進展，這令人印象深刻，但他們的產品戰略仍不明朗。”貝奈克告訴Business Insider。

Colossus的上線給孟菲斯這座城市帶來了機遇。市政官員以極快的速度同意了該項目。但它也將給城市的資源帶來壓力。據市政公用事業部門的官員估計，該系統每天需要多達100萬加侖的水來冷卻服務器，並且將消耗高達150兆瓦的電力。儘管如此，馬斯克認爲任何值得做的事情都值得快速完成，以避免落後於競爭對手。

來源：Business Insider、《財富》