Llama 3每秒輸出800個token逼宮openAI！下週奧特曼生日或放出GPT-5？
新智元報道
編輯：桃子 Lumina
【新智元導讀】Llama 3的開源，或將催生數十億美元新產業。發佈不到一週的時間，全網各種測試微調都開啓了。甚至，Llama 3在Groq上的輸出速度實現了每秒800個token。
Llama 3誕生之後便豔壓羣雄，開源界已無「模」能敵。
甚至，讓網友爲OpenAI捏了一把汗！
現在的Llama 3-70B已經一路攀升到大模型排行榜前列，僅次於GPT-4，打敗了Claude 3 Opus。
沒想到，70B都這麼能打，400B簡直不敢想象。
英偉達高級科學家Jim Fan預言，「GPT-5一定會在Llama 3 400B發佈之前出世」！
還有網友認爲，「我們現在有了一個頂級的開源競爭者，OpenAI的巨大優勢已經不復存在」。
從Llama 1，到Llama 2、代碼版Code Llama高調開源，顛覆了整個大模型圈，掀起新模型構建狂瀾。
如今的Llama 3，對全世界意味着什麼？
數十億美元新產業將涌現
Hugging Face創始人Clement Delangue稱，目前基於Llama 1和2構建的開源模型已有30000多個。
目前，Llama 3是最強大的開源模型，肯定會對生態系統產生重大影響。
在一個總榜上，Llama 3超越了許多的開源、閉源模型。
發佈不到一週，AI社區研究者們已經瘋狂開啓了對Llama 3的測試、微調。
Reddit網友使用Llama 3 70B，非常輕易地製作了一個完美的「貪吃蛇」遊戲，並且在蘋果測試中表現優秀。
但最令人振奮的是，這個模型可以進行微調。
它絕對會瘋狂發展。任何中小型公司都可以利用Llama 3 400B將生產力提升到空前水平。
還有人通過HF Chat使用葡萄牙語測試LLaMA 3，結果發現其超出預期，通過了推理測試。
僅用一張英偉達2070顯卡，開發者使用Llama 3 8B升級了本地離線AI。
竟發現，與這個AI助手AniyaAI的對話更有人情味兒了。
目前，一個全新的微調新模型dolphin-2.9-llama3-8b誕生了，已在Huggingface上發佈。
還有網友在M1 MacBook上使用mlx框架，測試發現llama 3 8b的速度約爲95 token/秒。
對於Meta來說，Llama 3不僅僅是一個研究項目。
它更是Meta將AI接入其龐大的應用和服務生態系統戰略的關鍵部分。
小紮在最新採訪中透露，Llama 3停止訓練後，仍在學習。Meta之所以停止訓練，是因爲需要GPU來開始測試 Llama 4。
值得一提的是，Llama 3的貢獻者名單中也有小扎。
AI創業公司Abacus AI的首席執行官表示：
「Llama 3 400B將徹底改變世界，成爲一個巨大的加速器！你可以使用GPT 4-5級別的模型做非常強大的事情。
想象一下，將模型微調爲AI醫生、AI經理，或AI女友。未來，基於這個基礎模型，將會涌現價值數十億美元的初創公司」！
每秒輸出800個token，Llama3驚呆網友
另一邊，Groq也第一時間提供了對Llama3 8B和70B的支持。
網址：https://console.groq.com/docs/models
Groq Cloud提供的支持，可以讓大家在沒有GPU的情況下使用這兩個大模型。
這無疑是對硬件資源不足、難以運行模型的微小企業與個人的巨大利好！
並且，Llama3在Groq上的表現也尤爲驚豔：模型能以每秒超過800個token的速度運行！
而一直以來的大模型王者GPT-4和新晉之秀Claude 3 Opus，其生成速度也僅有每秒36 token和18 token!
這幾乎是革命性的飛躍！
Clamath與Groq的 CEO認爲：接下來，Groq將擁有比所有大型科技公司的總和還要多的AI生成能力！
800 token/每秒的速度，意味着大模型將更具成本效益，並能在更廣泛的範圍內應用、落地。
而Llama3媲美GPT-4級別的實力，打開了未來AI的無數種可能性。
網友們的親身體驗更是力證了這一點！
首先是簡單的從1到500的計數：
GPT-4還在卡頓時，Groq上的Llama3剛一接收指令就已經完成了任務。
當Llama3已經完成任務半天了，GPT-4連100以內都沒計數完。
然後任務難度升級，要求模型用Python編寫貪吃蛇遊戲：
Groq上的Llama3不到3秒就結束了戰鬥，而GPT-4卻用了半分多鐘才搞定。
接着另一個程序員網友試着讓Llama3創建一個用PHP編寫的待辦事項列表。
指令剛發出就得到了結果，網友大爲震撼，評價這次的使用體驗：
「就像光速一樣。」
同時，在調用多個工具完成任務方面，Llama3的表現依舊驚豔！
調用工具所用時間小於4秒，面對複雜的財務問題，回答也僅用了2.9秒。
就連抓取整個網站提供給Llama3，它也可以在短短几秒內就完成響應。
甚至Llama3的8B模型2秒就能讓完整的文件從λ-Calculus 轉換爲慣用的JS......
體驗過的網友直接驚呼：「這是什麼魔法？」
最讓人震撼的是，Groq上的模型還都是免費開放的，團隊甚至沒有製作付費選項！
在如此優秀的性能和強大免費的攻勢下，已經有人宣佈
「我不會再用GPT-4 Turbo了。」
與Groq上的Llama3的光速響應相比，ChatGPT的緩慢已經引起了大多數用戶的不滿。
有人制作了使用了Groq上的Llama3後，再切換到ChatGPT上的GPT-4體驗的表情包：
更有網友銳評：
「就連Claude都比ChatGPT快！它的緩慢有時讓我昏昏欲睡。」
雖然有人厭倦了ChatGPT的緩慢，但也有人認爲GPT較慢的生成反而增加了內容的可讀性，也更適合人機交互。
「快速獲取數據的確非常棒！
但較慢的生成有利於內容的可讀性和對任務流程的理解，這對用戶體驗來說更友好。」
此外，也有人認爲Llama3的回答準確率不怎麼高，不能只看速度不看質量。
OpenAI優勢將不復存在？
從Gemini到Claude 3接連叫板，再到類GPT-4級別的開源400B模型預告，GPT-4真的危了！
許多網友紛紛在線催更GPT-5。
據傳言，OpenAI有可能在22日（當地時間週一）有大動作。
因爲那天，正好是奧特曼的生日。
與此同時，OpenAI官方賬號還發了一個有着數字「22」標誌的王座。
不過近來，奧特曼在採訪中曾表示，OpenAI有改進模型的使命，所以我們會把所有初創公司幹掉。
但在還沒有發佈GPT-5之前，初創公司需要有危機感了。
參考資料：
https://x.com/op7418/status/1781602335619494239
https://x.com/verysmallwoods/status/1781479061144940736
https://x.com/svpino/status/1781362565786075525
https://x.com/DrJimFan/status/1781386105734185309