開源大模型分水嶺：Meta發佈Llama 3 對標GPT-4

本報記者 李玉洋 上海報道

大幅領先Gemma 7B和Mistral 7B Instruct、超越了閉源的當紅的Claude 3 Sonnet、更能和谷歌Gemini Pro 1.5扳手腕……當地時間4月18日，Meta正式發佈了讓人等待已久的開源大模型Llama 3，一些基準測試結果顯示其是目前性能最強的開源模型之一。

據瞭解，Meta發佈了80億參數的Llama 3 8B和700億參數的Llama 3 70B兩個版本（B代表數十億，代表模型的複雜程度以及它對訓練的理解程度），其中Llama 3 8B在語言（MMLU）、知識（GPQA）、編程（HumanEval）、數學（GSM-8K、MATH）等能力上評測得分大幅超過Google和Mistral所開發的同級別模型，數學、編程能力翻倍。Meta公司首席執行官馬克·扎克伯格（Mark Zuckerberg）表示，最小的Llama 3基本上與最大的Llama 2一樣強大。

不止於此，Meta未來還將推出超過4000億參數的Llama 3版本。對此，英偉達高級研究經理Jim Fan說，這個還在訓練中的Llama 3 400B將成爲開源大模型的一個分水嶺，將改變許多研究工作和創業公司的經營狀況。

“公司技術說微調Llama 3可以對標PK GPT-4。”AIGC創業者席文告訴《中國經營報》記者，雖然他自己將信將疑，但是很期待。他表示，會將Llama 3應用於銷售和營銷、人力資源管理等2B業務領域，因爲“剛需高頻容易變現，也是迫在眉睫要改變的”。

功能強大的公開可用大模型

根據介紹，Llama 3的主要亮點有以下這些：基於超過15萬億token訓練，相當於Llama 2數據集的7倍還多；預訓練數據雖然主要以英語爲主，但其中包含超30種語言的高質量非英語數據；支持8K長文本，改進的tokenizer具有128K token的詞彙量，可實現更好的性能；包括增強的推理和代碼能力的新能力範疇；訓練效率比Llama 2高3倍；帶有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具等。

隨後，Llama 3很快在亞馬遜AWS、Databricks、谷歌雲、Hugging Face、Kaggle、IBM的雲平臺WatsonX、微軟雲Azure、英偉達的NIM和Snowflake上推出，並得到AMD、AWS、戴爾、英特爾、英偉達提供的硬件平臺支持。

關於Llama 3的全方位技術詳解也跟着浮現。比如Llama 3採用了優化的自迴歸Transformer架構，這種架構能夠有效提升生成文本的連貫性和相關性；結合了監督式微調（SFT）和帶人類反饋的強化學習（RLHF），這種混合調優方法不僅增強了模型的幫助性，也提高了安全性，使得模型在實際應用中更加可靠和符合用戶預期。此外，爲了提高Llama 3模型的推理效率，Meta還採用了分組查詢注意力（GQA）機制，在8192個tokens的序列上訓練模型，並使用掩碼確保自注意力不會跨越文檔邊界。

值得一提的是，與基礎模型一同發佈的，還有基於Llama 3的官方Web版本，名字就叫Meta AI。據Meta介紹，Llama 3將被整合到其虛擬助手Meta AI中，這是免費使用的同類產品中最先進的AI應用程序。Meta AI助手已經在Facebook、Instagram、WhatsApp和Messenger等應用中上線，隨後也將迎來更新。

對於Llama 3，業界大佬對其表現點贊。OpenAI原資深研究科學家安德烈·卡帕蒂（Andrej Karpathy）認爲，80億參數的Llama 3“會非常受歡迎”，效果接近參數更多的GPT-3.5，而且需要的算力低、反應快，甚至可以在手機、電腦上本地運行。

Meta AI首席科學家、圖靈獎得主Yann LeCun不僅爲Llama 3的發佈搖旗吶喊，並再次預告未來幾個月將推出更多版本。就連特斯拉CEO馬斯克也現身於評論區，用一句簡潔而含蓄的“Not bad”，表達了對Llama 3的認可和期待。

研究機構Omdia人工智能首席分析師蘇廉節認爲，Meta公開了Llama 3訓練數據集，還有一些數據安全的措施，這更加透明，且有助於提升使用者的信心。據瞭解，Llama 3 8B版本數據更新截至2023年3月，而70B版本則爲同年12月。

Meta公佈的基準測試結果顯示，Llama 3 8B在MMLU、GPQA、HumanEval等測試的得分遠超Google Gemma 7B和Mistral 7B Instruct；而Llama 3 70B則躋身於頂尖AI模型的行列，整體表現碾壓Claude 3大杯，與Gemini 1.5 Pro相比則是互有勝負。

不止於此，扎克伯格還表示4050億參數頂配版Llama 3將在今年晚些時候推出。 對此，JIm Fan認爲即將推出的Llama 3 400B+，像是開源模型與頂尖閉源模型並駕齊驅的象徵。

爲開源模型扳回一城

與不開源的OpenAI相比，Meta沿着開源路線朝AGI（通用人工智能）的聖盃發起了衝鋒。手握35萬塊GPU的扎克伯格在接受The Verge的採訪時描繪了Meta的願景——致力於打造AGI。

如今的開源模型當真是百花齊放、百家爭鳴。AI寫作助手創企HyperWriteAI的CEO見到Llama 3的驚人表現忍不住感慨：“我們正在步入一個新世界，一個GPT-4級別的模型開源並且可以自由訪問的世界。”

在過去的一年中，整個AI圈在圍繞開源或閉源的路線爭論不休。馬斯克親自下場，通過開源Grok 1.0爲開源路線站臺。日前，百度創始人、董事長兼首席執行官李彥宏在Create 2024百度AI開發者大會上表示：“大家以前用開源覺得便宜，其實在大模型場景下，開源是最貴的。所以，開源模型會越來越落後。”

如今，Llama 3的到來，爲開源模型扳回一局，但這場關於開源與閉源的辯論還遠未結束。“我覺得最重要的還是應用場景，目前Meta部署得相對保守，我期待看到Meta將這個部署在更多的商業應用上。”蘇廉節表示。

AI創業者劉付江告訴記者，Llama 3的發佈，意味着他們不需要花錢購買OpenAI他們的API了。“相比Llama 2，Llama 3的參數規模更大，模型框架得到優化，訓練數據更多，所支持語言增多，對話問答推理都有很大提升。初體驗下來效果比GPT-3.5強，比4.0差一點。”他表示，將在本地部署Llama 3，幫企業做大模型的中控系統，連接工廠車間裡的數字化系統、ERP系統和設備，“先試用一段時間，仍需要大量的測試”。

席文則把Llama 3的商業應用優先放在了營銷上。“AI可以幫助企業更精準地定位目標市場，提高廣告和營銷活動的效果。”他表示，因爲營銷剛需高頻，且容易變現。

記者注意到，用AI將營銷全鏈條重做一遍，已是大廠共識。如果說大模型的落地，在一些領域像“拿着錘子找釘子”，那營銷領域則屬於“一堆釘子等錘子”，因爲營銷中存在大量的基礎性工作，等待AI來解放。

文生圖、圖生圖、文生視頻……各種形式的AIGC，首當其衝的是製作廣告素材，近一年內，大廠們相繼推出了自己的AIGC工具，用於商家制作廣告素材。

比如，阿里媽媽去年7月上線了“萬相實驗室”，今年3月阿里又上線了“繪蛙”；百度去年6月推出“擎舵”；抖音去年10月推出“即創”；京東去年12月推出“京點點”；騰訊今年1月推出“妙思”。它們左手有AI大模型，右手有客戶和場景，可謂是AI營銷落地的最佳“試煉場”。

需要指出的是，雖然現在Meta已經提供了Llama 3的下載方式，便於廣大開發者免費使用，但該公司更傾向於用“開放”而不是“開源”一詞來定義該模型。原因在於，Meta即便允許開發者用Llama 3開展學術研究或開發商業應用，但卻並不像用戶想象的沒有任何附加條件去使用。

換句話說，Meta禁止開發者使用該模型訓練其他生成式模型，並且要求“每月活躍用戶超過7億”的公司必須向它申請特殊許可，再由Meta自行決定是否授予這一許可。

（編輯：吳清 審覈：李正豪 校對：顏京寧）