扎克伯格:Llama有望成爲開源AI新標準 3.1版本是關鍵轉折點
作者:張雅琦
來源:硬AI
23日,備受期待的開源大型語言模型Llama 3.1終於由Meta正式發佈。
同日,Meta創始人兼首席執行官馬克·扎克伯格在接受科技媒體人Rowan Cheung的採訪時,對Llama 3.1寄予了厚望。他認爲Llama 3.1最關鍵的創新就是其開源性,這在世界範圍內都是全新的。他還特別指出,蘋果封閉的生態系統限制了開發者的自由,並拿走了Meta的部分利潤。他透露,團隊正在爲Llama 4設置計算集羣和架構,Llama 4將在Llama 3的基礎上再一次實現巨大飛躍。
他表示,Llama 3.1的發佈是開源AI發展史上的一個重要里程碑,其強大性能將賦能開發者創造更多創新應用,並將人工智能技術帶向更廣闊的領域。
Llama 3.1包含8B、70B和405B三個參數規模的模型,其中405B參數的模型在多項基準測試中超過了OpenAI的GPT-4o,與Claude3.5Sonnet等先進閉源模型相媲美。這意味着,Llama 3.1已經具備了與最先進的AI模型相抗衡的實力。
扎克伯格表示,開源性使其能夠被更廣泛的開發者和研究人員所使用,這將加速人工智能技術的創新和普及。他相信,開源AI是未來發展的趨勢,Llama 3.1的發佈將推動這一趨勢的加快。
在採訪中,他還特別談到了蘋果和過去的經驗教訓。他認爲蘋果封閉的生態系統阻礙了Meta和其他公司的發展。
以下爲訪談全文,部分內容有刪減:
Rowan Cheung
您能給我們介紹一下發布的所有產品以及它們的重要性嗎?
Mark Zuckerberg
是的,當然。今天的重要發佈是 Llama 3.1,我們將發佈三個模型。這是我們首次發佈 4050 億參數模型。所以我認爲它是迄今爲止最複雜的開源模型。它與一些領先的封閉模型相比具有競爭力,在某些領域甚至領先。我真的很期待看到人們會如何使用它,尤其是現在我們圍繞 Llama 的社區政策允許人們將其用作教師模型來提煉和微調,並基本上使用它來創建他們想要的任何其他模型。除此之外,我們還提煉了 4050 億參數模型,以製作更新、更新的模型,現在在 700 億和 80 億參數模型中處於領先地位。它們還具有非常好的性能,非常好的性價比。我真的很期待看到大家會如何使用它。
退一步來說,我認爲這對開源 AI 來說是一個非常重要的時刻。我一直在思考這個問題,有一段時間我認爲開源 AI 將成爲行業標準。我認爲它基本上會遵循 Linux 所走的路。在 Linux 流行之前,所有這些公司都有自己的封閉版本的 Unix。當時,開源項目從未做過如此複雜的事情。人們認爲封閉的開發模式是做先進事情的唯一方法。起初,Linux 站穩了腳跟,因爲它更便宜,開發人員可以用不同的方式定製它。隨着時間的推移,隨着生態系統的建立,它受到了更多的審查,成爲更安全、更先進的選擇。有更多的合作伙伴構建功能,例如驅動程序,使其比任何封閉源 Unix 都更強大。
我認爲 Llama 3.1 的這個時刻就像一個轉折點,Llama 有機會成爲開源 AI 標準。即使在性能尚未領先的地方,它在成本、可定製性和微調模型的能力方面也處於領先地位。這些都是開發人員將獲得的巨大優勢。我們專注於構建這個合作伙伴生態系統,並圍繞它構建不同的功能。我非常高興談論這一切。
Rowan Cheung
我已經看過所有的基準測試。它看起來令人難以置信。顯然,這是有史以來第一個針對405B的開源前沿模型。您是否真的很高興看到人們使用該模型構建任何特定的實際用例?
Mark Zuckerberg
我最興奮的是看到人們用它來提煉和微調他們自己的模型。這是第一個開源前沿級模型,但不是第一個前沿級模型。還有其他具有這種能力的模型。人們會希望直接在405B上進行推理,因爲據我們估計,直接進行推理比 GPT-4 便宜 50%。這對很多人來說意義重大。但我認爲這對世界來說真正新穎的是,因爲它是開放權重,能夠將模型提煉成任何大小,以便用於合成數據生成,將其用作教師模型。所以我們對未來的願景不僅僅是,好吧,它從來都不是單一的東西。我認爲這就像 OpenAI 的願景,他們將構建一個大型人工智能。Anthropic 也是,谷歌也是。
這從來都不是我們的願景。我們的願景是應該有很多不同的模型。我認爲每個初創公司、每個企業、政府,他們都想擁有自己的定製模型。當封閉生態系統比開源更好時,最好將普通的封閉模型拿來即用。即使你可以自定義開源,但性能上仍然存在差距。但現在,開源已經縮小了差距。你將看到模型的廣泛普及,人們有動力使用他們的數據定製和訓練適合他們需求的合適大小的模型。他們將擁有實現這一目標的工具,因爲與亞馬遜、AWS、Databricks 等公司建立了合作伙伴關係,並構建了用於提煉和微調開放模型的服務套件。這是令人興奮的新功能。這是世界上一項全新的能力。因爲從來沒有人發佈過這種複雜程度的開源或開放權重模型。
Rowan Cheung
這真的是一件大事。你們是如何教育開發人員使用這些工具的?更廣泛地說,Meta 是否有計劃或策略來教育世界其他地方瞭解開源以及它爲什麼如此重要?
Mark Zuckerberg
在 Llama 3.1 之前,我們的方法是確保我們能夠獲得領先的模型。由於我們在移動技術領域之前的歷史,我們不想依賴競爭對手來獲得基礎技術,我們爲自己打造它。在 Llama 3.1 之前,我們有一種直覺,如果我們將其開源,一個社區就會圍繞它發展,擴展它的功能,讓它對包括我們在內的每個人都更有價值。這不僅僅是技術;這是一個生態系統。
Llama 3.1 的一大變化是,我們不再只是爲自己打造它並讓開發人員使用它,而是採取更積極主動的立場來建立合作伙伴關係。我們正在確保有一個生態系統,其中的公司可以利用模型做有趣的事情,並以我們無法做到的方式爲開發人員提供服務。我們不是 AWS、Google 或 Azure 這樣的公共雲提供商。開發人員不會來找我們構建他們的東西,但我們希望確保所有這些公共雲都具備這樣做的條件。這包括託管模型和提供推理等基本功能,也包括蒸餾和微調等新功能,爲此設置了特定的服務。許多這些服務以前都沒有很好地構建,因爲其他模型無法做到這一點。我們必須與合作伙伴進行特定的工作才能實現這一點。與此同時,會有像 Grok 這樣的人在超低延遲推理方面做有趣的工作。我真的很高興能把這個交到他們手中,他們正在爲發佈構建一些東西,以支持這一點。
然後是整個企業公司。因此,戴爾、Scale AI、德勤或埃森哲等公司與世界各地的所有企業合作進行技術部署。我認爲,無論是大型企業還是政府,他們都會幫助構建定製模型。很多人基本上都希望擁有一個屬於自己的模型,他們可以將自定義數據訓練到這個模型中。但很多公司不想通過 API 將數據發送給 Google 或 OpenAI。這並不是因爲這些公司存在任何特定的隱私問題,這也是而是因爲人們喜歡加密和 WhatsApp 的原因相同,對吧?人們只是想要一個設計安全的架構,讓他們的數據可以隨身攜帶。我認爲圍繞這類東西會有一個完整的市場。所以我對這一切感到非常興奮。
但是我們這次採取了更積極主動的立場,幫助建立生態系統。我認爲這就是它成長的方式,並且對每個人都更有價值。
Rowan Cheung
是的,我喜歡你與開發者社區的密切關係。就我自己而言,我身處社區,我知道人們確實想要這些私人和本地模型。所以說到你的信,除了元公告之外,你還發表了一封信,第一部分真正關注了開源對開發者的好處。我覺得這真的很到位。你能多談談開源人工智能的廣泛社會影響嗎?
Mark Zuckerberg
是的,我的觀點是,開源是實現積極的人工智能未來的一個非常重要的因素。人工智能將爲人們帶來所有這些令人敬畏的東西,包括提高生產力和增強創造力。希望它能幫助我們進行研究和類似的事情。但我認爲開源是我們確保它讓每個人都受益;它不是隻被少數幾家大公司鎖定的東西。
與此同時,我實際上認爲開源最終將成爲開發 AI 更安全、更可靠的方式。我知道今天關於開源是否安全的爭論仍在繼續,而我對此持不同立場。我不僅認爲它比封閉式開發更安全,而且我將其分解爲多種不同類型的危害。所以你不能只談論一種類型的事情。在這方面,我認爲可能存在無意的危害,即系統以人們不打算的方式脫軌,然後是故意的危害,即有壞人試圖利用系統做壞事。
說到無意傷害,順便說一句,我認爲值得注意的是,人們擔心的大多數科幻場景中的人工智能失控都是無意的。我實際上認爲開源在這方面應該更安全,因爲它將受到更多的審查和透明度。所有使用它的開發人員,有了所有的 Llama Guard 和它附帶的安全工具,他們將會受到如此多的審查、測試和壓力。我猜,就像傳統的開源軟件一樣,它出現的任何問題都會比封閉模型更快地得到解決和修復。所以我認爲你對無意傷害的看法是正確的,這就是爲什麼大多數關於開源安全的討論都圍繞着故意傷害。它是開放的,它就在那裡。
你如何阻止壞人用它做壞事?在那裡,我認爲你可能想把問題分成較小的參與者,比如試圖製造混亂的個人或較小的團體,以及更復雜且擁有大量資源的較大參與者,比如大民族國家。這兩者是一種不同的組合。對於較小的參與者,我的觀點是,在這方面保持力量平衡非常重要。我們在管理社交網絡時所做的就是,我們有所有這些試圖在我們的網絡上做壞事的壞人。很多時候,他們會部署人工智能系統來做這件事,而我們阻止和識別他們的方法是使用更復雜的人工智能系統,這些系統擁有更多的計算能力來發現他們在做什麼。
我認爲這實際上非常類似於政府和執法部門在社會中維持秩序的方式。是的,確實有一些不法分子可能會犯罪,但總體來說,警察和軍隊的資源和資金更爲充足,我認爲這裡的情況基本上也是如此。事實上,我認爲你希望開源能夠廣泛部署,因爲如果是封閉的,可能存在一定風險。但當它是開源時,大型機構可以利用他們豐富的資源來部署這些系統,從而遏制不良行爲者。
我認爲,無論是推動全球更均衡的繁榮,還是提高安全性,開源最終會領先。我們會遇到問題,但我們會進行嚴格測試,與政府合作,繼續努力。這是我對未來平衡的看法,基於我目前所知。
Rowan Cheung
我們再談談開源AI的好處。你在信中提到開源AI可以加速創新和經濟增長。你認爲這種情況已經發生了嗎?你怎麼看未來的發展?
Mark Zuckerberg
我認爲AI無論如何開發都會有這種效果,但開源可以帶來更大的好處。我認爲AI比目前開發的任何其他單一技術更有潛力提高生產力、加速經濟發展,讓每個人都有能力更具創造性,生產更有趣的東西。我希望它還能幫助科學和醫學研究等領域。
然而,今天有很多人沒有機會微調或構建他們自己的最先進模型,他們受限於大型實驗室的成果。正如我剛纔所說,我認爲我們文化和創新的一個定義特性是,不僅僅是大公司在做,還有初創公司、黑客、學者和大學裡的個人。我認爲你應該讓所有這些人都能訪問最先進的模型,不僅僅是運行這些模型,還能在其基礎上進行構建、調整,並縮小到可以在他們的筆記本電腦或手機上運行的規模。我認爲這將釋放大量的進步。這不僅僅是因爲初創公司或大學可能沒有資源去訓練自己的大型基礎模型。
現在我們處於未來,但許多國家將沒有能力做到這一點,因爲很快這些事情將花費數十億美元進行培訓。我認爲,讓不同的國家、企業家和企業能夠利用它更好地爲人民服務、更好地工作,將使全世界的所有人都受益,併產生巨大的均衡效應。我知道這真的很積極。我們得到最多感謝的地方之一實際上不是科技界,而是不同的發展中國家或其他國家,他們希望獲得技術並利用它做事,但不一定擁有技術領域來生產出他們的企業可以依賴的最先進的東西。但一旦他們擁有了它,實際上就可以很容易地去培訓自己的人。這是其中相當不錯的一部分。
Rowan Cheung
我喜歡它。我想從這封信中談及的另一件事是,我對你如此直接地批評蘋果及其封閉的做法感到有些震驚。你能詳細說明一下,蘋果在哪些方面阻礙了 Meta 和其他公司的發展嗎?
Mark Zuckerberg
我的觀點更哲學化,蘋果如何影響了我對待事物的方式,以及在心理上如何影響我對構建事物的看法。我實際上不知道他們將如何處理人工智能。他們進行一些開放式開發和一些封閉式開發。順便說一句,我不認爲自己是一個開源賣家。我只是認爲在這種情況下,開放模式將成爲標準,這對世界有利。我們進行開放式開發和封閉式開發。我並不是說蘋果在人工智能方面一定會走錯路,但如果你回顧過去 10 年或 15 年,你會發現在競爭對手控制的平臺上構建我們的服務對我們來說是一種成長經歷。對於許多不同的激勵措施,他們採用不同的規則來限制我們可以做的事情。他們有這些稅,我們做了一些分析,我們認爲如果沒有這些任意規則,我們的利潤會更高。我認爲很多其他企業也會如此。老實說,錢的部分很煩人,但對我來說,這不是最大的問題。當你開發出你認爲對社區有益的功能,然後被告知你不能發佈它們,因爲有些公司想把你放在一個盒子裡,這樣他們才能更好地與你競爭時,這有點令人心碎。我現在對人工智能的擔憂實際上不是蘋果,而是其他公司以及它們將如何發展。我不是說他們是壞人。我認爲這個系統只是一種物理和激勵結構,如果你建立一個封閉的系統,最終會有力量迫使你限制某些事情。我認爲,如果它的發展更像網絡但更強大,它將是一個更健康的生態系統。
由於移動的發展方式,封閉模式獲勝,蘋果確實收穫了大部分好處。也許還有更多的安卓手機,但蘋果幾乎獲得了手機的所有利潤。這有點近期偏差,因爲這是一個很長的週期。iPhone 於 2007 年問世,所以我們已經進入這個領域近 20 年了。這是一個漫長的週期,但很容易忘記封閉模式並不總是獲勝。如果你回到 PC 上,許多人並不認爲 Windows 是最大程度開放的,但與蘋果將操作系統與設備結合在一起的方法相比,Windows 的方法是一個更開放的生態系統,它贏了。我對下一代平臺的希望,包括人工智能以及我們在增強現實和虛擬現實方面所做的工作,是站在建立開放生態系統的一邊。我們希望讓這個行業恢復到開放生態系統領先的狀態。我認爲這是可能的。我認爲我們在 AI、AR 和 VR 方面都取得了良好的進展。鑑於過去 10 到 15 年來封閉的移動開發模式對我們行業的創造力造成了限制,這是我個人和哲學上關心的事情。
Rowan Cheung
我想更深入地談談你提到的關於恢復行業狀態的觀點,即開放生態系統是主導。現在我們有剛剛發佈的 Llama 3.1405B。它具有競爭力,甚至在關鍵基準測試中擊敗了一些最好的封閉模型,這令人印象深刻。但在你的信中,你提到 Llama 4 有望成爲業內最先進的模型。Llama 4 有什麼特別讓你興奮的地方嗎?
Mark Zuckerberg
哦,夥計。我們現在只爲 Llama 做 3.1。現在談論 Llama 4 可能有點早,但我們已經設置了計算集羣。我們已經設置了大量數據,並且我們對架構將會是什麼樣子有了一定了解。我已經進行了大量研究實驗來最大化這一點。我認爲 Llama 4 將在 Llama 3 的基礎上再一次實現巨大飛躍。我們還有很多進展要做。這是 Llama 的第一個 dot 版本。我還想做更多的事情,包括推出多模式模型,雖然它不幸遭遇了挫折,但我認爲我們可能會在未來幾個月內在歐盟以外的所有地方推出它們。
現在談論 Llama 4 可能有點早,但它會非常棒。運營公司時一件有趣的事情是規劃計算集羣和數據軌跡,不僅是爲 Llama 4,還包括爲接下來的四五個版本的 Llama。這些是長期投資,用於構建這些數據中心及其周圍的電源、芯片架構和網絡架構。
我意識到除了一些普遍的興奮之外,現在這個問題有點無法回答。在我們開始談論未來之前,Llama 3.1 值得至少花一週時間來處理我們發佈的內容。
Rowan Cheung
這很公平。我完全同意,僅 3.1 版,接下來的幾周就會很瘋狂。但聽到 Meta 已經爲 Llama 4 做好了一切準備,仍然非常令人興奮。在這方面,您能否更多地談談您對未來 AI 和可能的 AGI 的長期願景?
Mark Zuckerberg
是的,我的意思是,我很樂意從技術角度和產品角度來談論它。但是由於到目前爲止我們主要談論的是模型,也許我會從產品開始。所以我們的願景是,AI 服務中應該有很多不同的 AI,而不僅僅是一種單一的 AI。這確實爲開源方法提供了信息。它還爲產品路線圖提供了信息。所以是的,我們有 Meta AI。Meta AI 做得很好。我的目標是讓它在今年年底前成爲世界上使用最多的 AI 助手。我認爲我們已經朝着這個方向邁進了一步。我們可能會在年底前幾個月達到這個里程碑。
而且,我認爲我們有能力和商業模式來構建世界上最先進的模型並免費提供給每個人。所以這是一個巨大的優勢。它在我們所有的應用程序中都很容易使用。所以我對此感到非常興奮。是的,我們有了基礎助手,我認爲這將是一件大事。
但更重要的是,我們關注的很多事情是讓每個創作者和每個小企業都能夠爲自己創建 AI 代理,這樣我們平臺上的每個人都可以創建他們想要與之互動的 AI 代理。如果你仔細想想,這些空間是巨大的,對吧?世界上有數億家小企業。我認爲真正重要的事情之一是,通過相對較少的工作,企業可以爲自己建立一個 AI 代理,它可以提供客戶支持、銷售和與其他客戶溝通。我認爲,未來的每家企業,就像他們今天有電子郵件地址、網站和社交媒體一樣,都會有一個可以與客戶交談的 AI 代理。
這將是數億,甚至數十億的小企業代理。同樣,對於創作者來說,我們平臺上有超過 2 億人認爲自己是創作者,主要使用我們的平臺來建立社區和發佈內容。他們都有一個基本問題,那就是每天沒有足夠的時間與社區進行儘可能多的互動。同樣,我認爲他們的社區通常希望他們投入更多時間,但同樣,每天的時間不夠。
因此,我認爲將有一個巨大的解鎖,每個創作者都可以從社交媒體中提取所有信息,訓練這些系統以反映他們的價值觀和商業目標,然後人們可以與之互動。這幾乎就像創作者創造的藝術品,人們可以通過不同的方式與之互動。這甚至還沒有涉及到人們能夠爲自己創建不同的 AI 代理來做不同事情的所有不同方式。所以我認爲我們將生活在一個擁有數億或數十億個不同人工智能代理的世界,最終人工智能代理的數量可能比世界上的人類數量還多,而人們將以各種不同的方式與它們進行互動。
這就是產品願景。顯然,這其中有很多商機。我們希望通過打造最好的產品來賺錢,而打造最好的產品的一個重要因素就是擁有最好的模型,而擁有最好的開源生態系統將幫助我們做到這一點。所以,這就是我們之所以一致的原因,也是爲什麼通過建立這個開源社區,打造最高質量的產品並獲得最佳業務成果對我們非常有價值。
但它在哲學上也是一致的。我們不相信會只有一個大人工智能,無論是產品還是每個人都在使用的模型。我們從根本上相信擁有廣泛多樣的模型,每個企業和個人都希望擁有自己的定製解決方案。我認爲這會很有趣,也是令人興奮的很多原因。
Rowan Cheung
是的,我認爲 Meta 如何將技術直接集成到其產品中並免費向數十億用戶提供前沿級 AI 模型真的很有趣,這是一件大事。
但就此而言,我還有一個關於懷疑論的最後一個問題。在 20 世紀 90 年代,對互聯網的懷疑無處不在。但最終,反對它幾乎變得不合理。感覺我們現在對人工智能的懷疑也處於類似的軌跡上。您是否認爲我們處於早期階段,並且會有這樣一個臨界點,即反人工智能情緒將被視爲與今天對互聯網的懷疑類似?您認爲哪些因素對於改變這種觀點至關重要?
Mark Zuckerberg
我認爲人們對某事的擔憂有不同的方式。我很清楚的一件事是,互聯網在成功之前經歷了一次大泡沫破滅。是的,互聯網上所有長期關注的人最終都是對的,但有時事情的發展比你想象的要長,你只需要有決心堅持到底。我對 Llama 3、Llama 4 和 Llama 5 將帶來的所有解鎖功能感到非常興奮。我認爲這將轉化爲更好的產品。但實際上,很難提前知道什麼時候某樣東西足夠好,可供數十億人使用,什麼時候可以成爲一門大生意。我們都在花費大量資金來訓練這些模型,所以我認爲人們會在相當長的一段時間內虧損。
但也許這一切都會發生得更快。很難確切知道。我認爲你所說的另一部分是人們擔心這對他們的生計意味着什麼。這就是我認爲開源方法很重要的原因之一,因爲開源方法有很多不同的模型,可以針對每個企業和每個創作者進行個性化和定製。如果這種情況發展到只有少數公司生產產品並從中受益,而人們只是使用這些產品,那麼如果它不能幫助所有人振興,就可能會產生強烈反應。
在研究了 Web 2.0 的發展方式後,我花了一些時間思考如何圍繞 AI、AR 和 VR 創造一個更可持續的政治經濟。我們需要一套蓬勃發展的產品和經濟生產力的提高,但也需要一個更好、更可持續的系統,讓更多的人感覺他們從中受益。我認爲我們在社交媒體方面做得相當不錯,但從一些反饋來看,我認爲在 AI 和新技術方面做得更好將非常重要,以減輕對生計、工作和生活的擔憂。
Rowan Cheun
是的,我認爲沒有人能說得更好。和你談話真是太棒了。非常感謝你這樣做,也感謝你和 Meta 爲人工智能社區所做的一切。
Mark Zuckerberg
很高興這樣做,我真的很期待看到人們創造的東西。