馬斯克又一次跳票,新一代大模型訓練變難了嗎?

1月3日消息,又有旗艦級人工智能模型跳票了。

去年夏天,人工智能公司xAI的創始人兼首席執行官埃隆·馬斯克(Elon Musk)宣佈,xAI的下一代人工智能模型Grok 3計劃於2024年“年底”發佈。作爲xAI對標OpenAI的GPT-4o和谷歌Gemini的核心產品,Grok具備圖像分析和問答功能,同時爲社交平臺X的多項服務提供技術支持。

馬斯克去年7月在X上發文稱:“Grok 3將在10萬塊H100芯片的支持下完成訓練,預計年底發佈,它會是非常與衆不同。”他提到xAI位於孟菲斯的大規模GPU集羣。同年12月中旬,馬斯克再次發帖表示:“Grok 3將實現一次重大的技術飛躍。”

然而,截至2025年1月2日,Grok 3仍未發佈,也沒有跡象表明發佈臨近。

實際上,有人工智能愛好者Tibor Blaho發現,xAI網站上的代碼顯示,一個過渡模型“Grok 2.5”可能會先行發佈。

(更新馬斯克當地時間1月3日在X平臺上表示,Grok 3即將推出,其預訓練現已完成,計算量比Grok 2高10倍。)

馬斯克一向以設定雄心勃勃的目標著稱,但錯過截止日期也早已不是第一次。衆所周知,他對產品發佈時間的預測往往過於樂觀。實際上,他本人也曾在去年8月接受播客主持人萊克斯·弗裡德曼(Lex Fridman)的採訪時提到: “如果運氣夠好”,Grok 3“或許”能在2024年問世。

Grok 3的發佈延遲尤其引人注目,因爲它代表了一個日益顯現的趨勢。

去年,人工智能初創公司Anthropic未能按計劃推出其旗艦模型Claude 3 Opus的繼任者Claude 3.5 Opus。儘管該公司此前宣佈該模型將於2024年底發佈,但幾個月後,所有與Claude 3.5 Opus相關的內容都被從開發文檔中刪除。據報道,Anthropic確實在去年某個時間點完成了該模型的訓練,但最終認爲發佈並不具備經濟可行性。

與此同時,據報道,谷歌和OpenAI的旗艦模型項目在最近幾個月也遭遇了一系列挫折。

這一現象或許揭示了當前人工智能擴展法則的侷限性。過去,依靠大規模計算能力和龐大的數據集訓練模型,通常可以顯著提升性能。但隨着模型迭代的深入,每一代模型帶來的收益正在逐步縮小,這促使各家公司轉向探索新的技術路徑。

馬斯克本人在接受弗裡德曼採訪時也談到了這一點。

“你希望Grok 3能成爲最先進的模型嗎?”弗裡德曼問。

“希望如此,”馬斯克回答道。“這是我們的目標,但也可能無法實現。這是我們的願景。”

至於Grok 3發佈推遲的原因,還有其他可能性。例如,xAI的團隊規模明顯小於競爭對手。然而,這次延遲進一步印證了傳統人工智能訓練方法可能已經遇到了瓶頸。(辰辰)