Meta發佈Llama 3.1開源大模型系列,扎克伯格:開源人工是前進之路

·Meta發佈Llama 3.1開源大模型系列,包括最大的版本Llama 3.1 405B,輕量級的Llama 3.1 8B和Llama 3.1 70B,任何人都可以免費使用。扎克伯格表示,開源人工智能是前進之路,人工智能開發將繼續保持非常激烈的競爭,開源正在迅速縮小差距。

當地時間7月23日,Meta發佈Llama 3.1開源大模型系列,任何人都可以免費使用。

最新發布的Llama大模型系列有三個版本,其中最大的版本被稱爲Llama 3.1 405B,參數規模4050億,在16000個英偉達H100圖形處理器上訓練而成。相比之下,OpenAI的GPT-4擁有1萬億參數,亞馬遜正在開發2萬億參數模型。擁有大量參數的大語言模型可以執行比小模型更復雜的任務,例如理解長文本中的上下文、解決複雜的數學方程,甚至生成可以改進小模型的合成數據。

對於面向用戶和離線的推理任務,開發人員可以在自己的基礎設施上運行Llama 3.1 405B進行推理,成本大約是使用GPT-4o等閉源模型的50%。

Meta還發布了輕量級的Llama 3.1 8B和Llama 3.1 70B小版本模型,本質上是其前身的升級版本,可用於驅動聊天機器人和軟件編碼助手。

Meta表示,Llama 3.1支持128K上下文長度,提升了推理和編程能力,支持多語言。Meta研究人員表示,即將於今年晚些時候推出的“多模態”模型將在覈心的Llama 3文本模型之上疊加圖像、視頻和語音功能。

“開源人工智能是前進之路。”Meta首席執行官馬克·扎克伯格在署名文章中表示, 人工智能開發將繼續保持非常激烈的競爭,如今,幾家科技公司正在開發領先的閉源模型,但開源正在迅速縮小差距。去年,Llama 2只能與落後於前沿的老一代模型相比,今年Llama 3能與最先進的模型競爭,並在一些領域領先。他稱Llama大模型明年將超越競爭對手,成爲業內最先進的模型。Meta政策副總裁兼副首席隱私官羅布·謝爾曼(Rob Sherman)表示,Meta的Llama AI模型家族已經被公司和個人下載了3億次。

與微軟和谷歌不同,Meta沒有龐大的雲軟件業務來幫助它向其他企業出售人工智能。Meta選擇將其人工智能開源,希望創建一個生態系統,讓沒有自己的人工智能技術的公司可以使用Meta的人工智能技術,增強Meta的影響力。如果Meta取得成功,它可能會破壞其競爭對手的商業模式,初創企業更容易與OpenAI等公司競爭,當然黑客等其他不良行爲者也可能獲得尖端技術。

扎克伯格表示,與競爭對手構建的閉源系統相比,開源工具更容易受到研究人員和監管機構的審查。“開源將確保世界上更多的人能夠獲得人工智能的好處和機會,權力不會集中在少數公司手中,這項技術可以更均勻、更安全地部署到整個社會。”

“Meta和閉源模型提供商之間的一個關鍵區別是,出售AI模型的訪問權限不是我們的商業模式。這意味着公開發布Llama不會削弱我們的收入、可持續性或投資研究的能力,就像閉源供應商所做的那樣。”扎克伯格表示。